听众张洋想知道怎样区分 “ordinary、normal” 和 “common” 这三个都可以表示 “普通的、平常的” 词语。想要描述 “一个人是平凡无奇的”，应该使用这三个词中的哪一个词？想表达 “常识” 或者 “普通感冒” 时，应该选择哪个表示 “普通” 的词来组成相应 ...

你是否好奇为什么现在的网络能深达百层、千层，而早期的网络连十几层都难以训练？ 这一切的巨大转变，都离不开一篇2015年的神作——《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它被誉为深度学习的“润滑油”和“加速器 ...

ICML2025年时间检验奖（Test of Time）颁给了Batch Normalization。在这篇发表于2015年的论文中，作者提出深度神经网络训练中的“内部协变量偏移”问题。直观理解，就是隐藏层的数据分布会随着训练的进行而变化，而前一层的变化又会影响下一层的学习。这种层与层 ...

说到Transformer，就不能不提它的好搭档——Layer Normalization（LayerNorm），简称LN。你可能要问，为啥Transformer要用LN而不是Batch Normalization（BN）呢？这背后可是有大学问的。 在聊“二选一”的问题前，我们先介绍下什么是Layer Normalization？什么是Batch Normalization?

IT之家4 月 16 日消息，OpenAI 今天凌晨面向开发者推出 Batch 批处理 API，可在 24 小时内给出结果，并提供 API 半价折扣。 新的 Batch API 适用于异步任务处理，如当开发者需要处理大量文本、图片、摘要时，就可以使用该 API，OpenAI 会在 24 小时内给出处理结果。

测试时自适应（Test-Time Adaptation, TTA）方法在测试阶段指导模型进行快速无监督 / 自监督学习，是当前用于提升深度模型分布外泛化能力的一种强有效工具。然而在动态开放场景中，稳定性不足仍是现有 TTA 方法的一大短板，严重阻碍了其实际部署。为此，来自 ...

本文转自深度学习这件小事，文章仅用于学术交流。 常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑、做文章的，以不同 ...

深度强化学习算法 (DRL, Deep Reinforcement Learning Algorithm) 的神经网络是否需要使用批归一化 (BN, Batch Normalization) ？ 2020-10-09 第二版，回答评论区问题「reward需要归一化吗？」，将原来的第五节「列举出知乎对BN in RL 的讨论并点评」删掉， 换成「回复评论区的问题」 1 ...

Normalization 的中文翻译一般叫做「规范化」，是一种对数值的特殊函数变换方法，也就是说假设原始的某个数值是 x，套上一个起到规范化作用的函数，对规范化之前的数值 x 进行转换，形成一个规范化后的数值 所谓规范化，是希望转换后的数值x满足一定的特性 ...