注意力机制：大模型如何像人类一样"抓重点"
用生活化的例子解释注意力机制的原理，让你理解为什么它能让AI像人类一样抓住关键信息，成为现代大模型的核心基石。…
神经网络、卷积网络、注意力机制与 Transformer 等深度学习核心技术。
用生活化的例子解释注意力机制的原理，让你理解为什么它能让AI像人类一样抓住关键信息，成为现代大模型的核心基石。…
从零训练一个大模型代价高昂，多数人其实只是在已有模型上做小幅调整。本文解释预训练模型学到的通用能力为何能迁移到新任务，并介绍冻结层、小学习率微调等常见…
模型把训练题背得滚瓜烂熟，遇到新题却一塌糊涂，这是机器学习最常见的失败。正则化就是一组专门对抗死记硬背的技巧。本文讲清权重惩罚与 Dropout 的思路差异，以及…
训练深层网络时，输入分布会随着前面层的更新不断漂移，让学习变得困难。归一化技术把每层的数据重新拉回稳定范围。本文对比批归一化与层归一化的做法差异，并说…
计算机只认数字，怎么把“猫”这样的词交给它处理？词嵌入给每个词分配一串数字，让意思相近的词在空间中彼此靠近。本文讲清为什么向量能表达语义，以及那些广为…
2017 年提出的 Transformer 放弃了循环结构，几乎完全建立在注意力之上，从此改变了整个领域的走向。本文逐层拆解它的编码器与解码器，说明位置编码、多头注意力和前馈…
翻译一句话时，人不会盯着整段原文平均用力，而是随时把目光落在最相关的词上。注意力机制就是把这种聚焦写成可计算的公式。本文讲清查询、键、值三者的配合，以…
句子、语音、股价都是一串有先后次序的数据，普通网络看不出顺序。循环神经网络引入了记忆，让上一步的结果影响下一步；LSTM 则用门控结构解决了记忆容易流失的问…
让计算机看懂照片，是深度学习最早取得的重大突破之一。卷积神经网络用一块块小窗口在图像上滑动，先找边缘、再拼形状、最后识别物体。本文讲清卷积、池化与层级…
神经网络有上亿个参数，靠人工调整绝无可能。反向传播给出了一条高效算出每个参数该往哪调、调多少的路线。本文用“责任分摊”的比喻讲清它的思路，并说明它如何…
如果没有激活函数，再深的神经网络也只是一根笔直的直线。本文解释为什么“非线性”是神经网络表达力的关键，并介绍几种常见激活函数的特点与取舍，包括曾经的主…
神经网络常被说成模仿大脑，但对初学者来说，更贴切的比喻是一叠流水线上的计算卡片。本文从单个神经元讲起，说明输入、权重、偏置如何层层传递，以及“深度”到…