RAG：让大模型学会开卷考试，回答前先查资料
读完本文你会明白：为什么大模型会答错自己不知道的事，RAG 如何让它先查资料再回答，以及企业知识库、智能客服背后的原理是什么。…
大语言模型的原理、训练方法、提示词工程与检索增强生成等话题。
读完本文你会明白：为什么大模型会答错自己不知道的事，RAG 如何让它先查资料再回答，以及企业知识库、智能客服背后的原理是什么。…
大模型会编造看起来很像真的假信息，这叫「幻觉」。本文讲清幻觉产生的三个根源：训练数据的缺口、逐词预测的机制、以及缺乏真实世界校验，并给出普通人降低风险…
能自己拆解任务、调用工具、反复尝试的 AI 叫智能体。本文用一个实习生助理的比喻讲清它的四个组成：模型大脑、工具、记忆与规划循环，说明当前的能力边界，以及…
为什么搜手机发烫能找到讲设备过热的文档？本文解释嵌入向量的含义、语义检索与关键词检索各自的主场，说明为什么成熟系统往往两者并用，以及向量数据库在规模、…
为什么企业问答系统大多采用检索增强生成？本文解释 RAG 的工作流程：先把资料切块建索引，提问时检索相关片段，再让模型依据材料作答，并说明它相比直接微调的优…
模型性能与参数、数据、算力之间存在可预测的规律，这就是缩放定律。本文解释它的基本形式与实际用途，也说明为什么近年研究重心转向数据质量、推理效率与小模型…
模型大到某个程度，会突然学会原来不会的本领，这被称为涌现能力。本文解释这一现象的观察方式，介绍学术界对它是否真实存在突变的争论，讨论为什么评测方式会影…
模型编造不存在的书名、案例和数据，这叫幻觉。本文解释它并非程序故障，而是训练目标与生成机制的必然产物，区分几种常见的幻觉类型，分析哪些提问方式最容易触…
为什么让模型先想再答会明显提升正确率？本文解释思维链提示的原理：把中间推理步骤写出来，等于给模型更多可依赖的中间结果，同时说明它在哪些任务上有效、哪些…
同样的模型，不同问法结果天差地别。本文用给实习生派活的比喻，讲清写好提示词的几个要素：说清角色与任务、提供必要背景、明确输出格式、给出示例，并提醒常见…
让模型有用、诚实、无害并不是自然发生的。本文解释人类反馈强化学习的三步流程：收集人类偏好、训练奖励模型、用强化学习优化策略，并讨论这种方法带来的改善与…
同一个模型，为什么有的只会续写、有的却会回答问题？本文梳理预训练与指令微调两个阶段：前者让它吸收海量文本获得知识，后者教会它理解指令、按格式输出，并解…
为什么模型读不完一本长书？本文解释上下文窗口的含义：它是模型一次能同时看到的词元上限，决定着你能在一次对话里塞多少材料，也解释了长文档处理、记忆丢失和…
模型并不直接读汉字，它读的是被切碎的词元。本文解释 Token 与分词的概念，为什么一个词可能被切成好几段、为什么生僻内容常被拆得零碎，以及这如何影响计费、长…
BERT 和 GPT 常常被一起提起，但训练目标完全不同。本文解释自编码与双向上下文的含义：为什么 BERT 靠做完形填空学会理解语义，为什么它不适合写长文，以及它今天在…
GPT 这个名字背后是什么机制？本文解释“自回归”的含义：模型如何把已生成的内容不断喂回自己、一个词一个词地续写，以及为什么这种单向生成方式既擅长写作，又…
大语言模型究竟是什么？本文把它比作一个读过海量文本、只做“预测下一个词”的接话高手，解释参数、预训练、上下文这些常见说法背后的真实含义，也说明它为什么…