附录C:推荐阅读与资料来源(2024–2026)
书海潮头三两卷,先把路标立得全。
读文不怕新招怪,只怕没纲乱翻篇。
本附录基于全书各回“引用与溯源”的链接做整理与推荐,目标有三:
- 把 2024–2026 的主线资料按主题收拢,避免“东一篇西一篇”
- 给出“必读/选读/备查”的阅读优先级,并写明推荐理由与适用场景
- 对一些常见误读与评测陷阱做提醒,减少“看完更糊涂”
0. 怎么读最省力(先给三条路)
路一:只想把主线读顺(推荐)
- 先读两篇总览/综述:RAG 总览、RLHF 总览
- 再各挑一篇“代表性实证/基准”去看方法怎么落地
- 最后再回头补细分招式(如 GraphRAG、SAE、Steering 的评测)
路二:你要做系统上生产(偏工程)
- RAG 评估与隐私(别把风险留到上线后)
- 工作流/代理执行与失败分析(能审计、能回滚)
- 最后再看“更前沿的能力提升路线”(如 test-time compute、SAE、steering)
路三:你想追学术前沿(偏研究)
- 先读“综述 + 基准”厘清问题定义与评测协议
- 再读“方法论文”看新贡献
- 最后读“评论/反驳/复现”校准结论边界
1. 推理与测试时计算(慢思考主轴)
-
必读:Snell, C., et al. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters https://arxiv.org/abs/2408.03314
推荐理由:把“推理时多算几步”的收益放到可优化视角里讨论,适合作为 test-time compute 的入口。
提醒:不同任务/预算下的最优策略可能不同,别把某一套曲线当通用真理。 -
必读:Zelikman, E., et al. Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking https://arxiv.org/abs/2403.09629
推荐理由:围绕“先想再说”给出清晰设定,适合把“慢思考”从口号拉回机制。
提醒:对外可见的“思路”不等于可验证推理;更要关注任务与评测如何定义“更会想”。 -
选读:The Art of Scaling Test-Time Compute for Large Language Models https://arxiv.org/abs/2512.02008
推荐理由:作为“操作手册类”材料,适合把多采样/搜索/自检的工程组合讲清。
提醒:此类文章往往对具体系统细节依赖大,迁移时要先做小规模对照实验。 -
选读:Setlur, A., et al. RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold https://arxiv.org/abs/2406.14532
推荐理由:把“合成数据”“错误信号”“强化学习”放在一起讨论,适合校准“数据并非越干净越好”的直觉。
提醒:标题里强调的倍率收益通常依赖特定设定;阅读时紧盯数据生成与评测协议。 -
必读(边界校准):Shojaee, P., et al. The Illusion of Thinking https://arxiv.org/abs/2506.06941
推荐理由:用问题复杂度作为镜子讨论推理模型的优势与极限,能帮助读者避免“作文式推理”的误判。
提醒:结论边界与任务集合强相关。 -
选读(评论与质疑):The Illusion of the Illusion of Thinking: A Comment on Shojaee et al. https://arxiv.org/abs/2506.09250
推荐理由:学习“怎么读推理评测”:哪些失败是模型问题,哪些是任务/约束/评测问题。
提醒:评论文章的价值在于指出方法论风险,不一定给出最终定论。 -
必读(过程监督):Luo, L., et al. Improve Mathematical Reasoning in Language Models by Automated Process Supervision https://arxiv.org/abs/2406.06592
推荐理由:把“只看最终答案”推进到“监督中间过程”,是从快刀走向慢剑的关键一环。
提醒:自动化监督本身也会引入偏差,必须看其监督信号如何生成、如何验证。 -
选读(树搜索自训):Zhang, D., et al. Rest-MCTS*: LLM Self-Training via Process Reward Guided Tree Search https://arxiv.org/abs/2406.03816
推荐理由:把“推理当搜索”落到可操作的树搜索与自训练流程,适合与第20回对照阅读。
提醒:树搜索的收益常被预算与剪枝策略主导,比较时必须统一计算量口径。 -
备查:OpenAI. Introducing OpenAI o1 https://openai.com/index/introducing-openai-o1-preview/
推荐理由:作为产业路线公开表述,帮助理解“推理时多算”在产品层面的叙事。
提醒:博客不是论文;关键处仍要回到可复现实验与基准比较。 -
备查:OpenAI. Learning to reason with LLMs https://openai.com/index/learning-to-reason-with-llms/
推荐理由:与上条配套阅读,用来把“慢思考”与评测提升联系起来。
提醒:关注其展示的任务类型与评测选择,避免以偏概全。
2. 强化学习与偏好对齐(RLHF 主线)
-
必读(总览):Kaufmann, T., et al. A Survey of Reinforcement Learning from Human Feedback https://arxiv.org/abs/2312.14925
推荐理由:把 RLHF 的组件、训练范式与常见问题梳理成地图,适合作为“先立框架”。
提醒:综述覆盖面大但深度不一,遇到关键细节要回原论文。 -
必读(经典流水线):Ouyang, L., et al. Training language models to follow instructions with human feedback https://arxiv.org/abs/2203.02155
推荐理由:SFT→RM→PPO 的工业范式代表,是读懂后续 DPO/IPO/KTO 的参照物。
提醒:不同实现细节会显著影响稳定性与安全性。 -
必读(经典应用):Stiennon, N., et al. Learning to summarize with human feedback https://arxiv.org/abs/2009.01325
推荐理由:人类偏好学习的早期标杆场景之一,能帮助理解“偏好 ≠ 标准答案”。
提醒:任务相对单一,不应直接外推到所有对齐问题。 -
必读(PPO 原典):Schulman, J., et al. Proximal Policy Optimization Algorithms https://arxiv.org/abs/1707.06347
推荐理由:理解“步子别迈大”的理论与实现来源。
提醒:语言模型上的 PPO 与传统 RL 环境差异很大,读时要把“环境”换成“生成与评分闭环”。 -
选读(TRPO 原典):Schulman, J., et al. Trust Region Policy Optimization https://arxiv.org/abs/1502.05477
推荐理由:帮助理解“KL 约束”精神从何而来。
提醒:更偏理论与连续控制背景,读到要点即可。 -
必读(实现细节复现):Huang, S., et al. The N+ Implementation Details of RLHF with PPO https://arxiv.org/abs/2403.17031
推荐理由:工程读者的止坑指南:很多“论文没写但你踩了就炸”的细节在此类工作里会被系统整理。
提醒:结论常依赖具体训练栈与默认超参,迁移时仍需对照实验。 -
选读(异步 RLHF):Noukhovitch, M., et al. Asynchronous RLHF https://arxiv.org/abs/2410.18252
推荐理由:把 RLHF 从“单机炼丹”推到“流水线工程”,适合关心吞吐与效率的读者。
提醒:异步/离策略会引入新不稳定源,需关注其稳定化技巧。 -
必读(偏好优化代表):Rafailov, R., et al. Direct Preference Optimization https://arxiv.org/abs/2305.18290
推荐理由:理解 DPO 系列的核心直觉:把“偏好学习”写成更直接的优化目标。
提醒:不同实现与数据质量对效果影响极大,别把“无需 RL”误解为“无需工程”。 -
选读(理论范式):Azar, M. G., et al. A General Theoretical Paradigm to Understand Learning from Human Preferences https://arxiv.org/abs/2310.12036
推荐理由:给出更统一的理论视角,帮助把多种偏好优化方法放到同一框架下思考。
提醒:偏理论,读者可先抓“假设-结论-适用边界”。 -
选读(前景理论对齐):Ethayarajh, K., et al. KTO: Model Alignment as Prospect Theoretic Optimization https://arxiv.org/abs/2402.01306
推荐理由:把行为经济学的“损失厌恶”等直觉引入对齐目标,适合用来扩展“偏好并非线性”的视野。
提醒:读时要分清“建模偏好”与“实际可控收益”,别被新术语迷住。 -
选读(偏好式 RL 工程):Bai, F., et al. Efficient Preference-based RL via Aligned Experience Estimation https://arxiv.org/abs/2405.18688
推荐理由:偏好学习在 RL 框架下的效率改进尝试,适合做“方法库补充”。
提醒:与语言模型对齐并非一一对应,注意问题设定差异。 -
选读(经验回放多样性):Efficient Diversity-based Experience Replay For Deep Reinforcement Learning https://arxiv.org/abs/2410.20487
推荐理由:从“采样与多样性”角度理解训练稳定性,能与本书第14回形成呼应。
提醒:更偏通用 RL;与 LLM 对齐要看映射关系。 -
备查(前景理论经典源头):Kahneman, D., Tversky, A. Prospect Theory https://link.springer.com/article/10.1007/BF00992696
推荐理由:KTO 等方法背后的心理学/经济学根基。
提醒:这是行为科学论文,不是机器学习实现指南。
3. 检索增强生成(RAG):方法、评估与隐私
-
必读(RAG 总览):Gao, Y., et al. Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997
推荐理由:把 RAG 演进分层(朴素/高级/模块化等),是本书第三篇的总地图。
提醒:综述对“最佳实践”的表述会随时间变化,读时注意版本与时间点。 -
必读(另一份总览):Huang, Y., et al. A Survey on Retrieval-Augmented Text Generation for Large Language Models https://arxiv.org/abs/2404.10981
推荐理由:与上条互补,适合交叉验证概念与模块划分。
提醒:两份综述在术语命名上可能不同,建议以本书附录B做对齐。 -
必读(评估总览):Yu, H. Evaluation of Retrieval-Augmented Generation: A Survey https://arxiv.org/abs/2405.07437
推荐理由:RAG 的成败一半在评测;这份材料适合把“召回/忠实度/引用”统一到可测指标。
提醒:评估指标多且互相牵制,不能只盯一个分数。 -
必读(幻觉语料):Niu, C., et al. RAGTruth https://arxiv.org/abs/2401.00396
推荐理由:以更细粒度(片段级)视角讨论幻觉与忠实度问题,适合作为“幻觉不是一个分数”入门。
提醒:语料与标注定义决定了你能测到什么,迁移到别的领域要谨慎。 -
必读(纠错式 RAG):Gu, J.-C., et al. Corrective Retrieval Augmented Generation https://arxiv.org/abs/2401.15884
推荐理由:把 RAG 从“一次检索一次生成”推到“检索评估—纠错—再检索”的闭环。
提醒:闭环系统容易被延迟与成本打败,上线要同时看效果与代价。 -
选读(HyDE):Gao, L., et al. Precise Zero-Shot Dense Retrieval without Relevance Labels https://arxiv.org/abs/2212.10496
推荐理由:查询变换方向的重要代表,适合把“先生成再检索”的技巧看明白。
提醒:HyDE 的效果常依赖生成质量,遇到领域偏差要先看“假文档”写成了啥。 -
必读(长上下文对照):Li, Z., et al. RAG or Long-Context LLMs? https://arxiv.org/abs/2407.16833
推荐理由:把“长上下文是否会淘汰 RAG”这道争论题拉回实证比较,适合做决策参考。
提醒:不同模型/上下文窗口/成本约束下结论会变;关注其“混合方案”的工程启示。 -
必读(隐私风险):Zeng, S., et al. The Good and The Bad: Exploring Privacy Issues in RAG https://arxiv.org/abs/2402.16893
推荐理由:生产读者必须读:它把检索与生成串起来后的隐私面讲清,适合做风险建模。
提醒:隐私问题常被“看似无害的证据片段”触发,别只防敏感字段。 -
选读(差分隐私 RAG):Koga, T., et al. Privacy-Preserving RAG with Differential Privacy https://arxiv.org/abs/2412.04697
推荐理由:给出“想在机制上更硬一点”的路线图。
提醒:DP 往往带来效果与成本折衷,读时要把参数与预算当成核心。 -
选读(Agentic RAG 总览):Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG https://arxiv.org/abs/2501.09136
推荐理由:把 RAG 升级成“能办事”的工作流系统,适合承接本书第三、四篇。
提醒:agentic 叙事容易泛化;阅读时抓“可执行节点、验证、记账”三件事。 -
备查(产业 embedding 更新):OpenAI. New embedding models and API updates https://openai.com/index/new-embedding-models-and-api-updates/
推荐理由:理解产业侧 embedding/检索能力迭代的现实背景。
提醒:接口与模型会更新,适合作为背景材料而非理论依据。
4. 知识图谱与 GraphRAG(第四篇主轴)
-
必读(KGC 方法论):Zhang, B., Soh, H. Extract, Define, Canonicalize (EDC) https://arxiv.org/abs/2404.03868
推荐理由:把“从文本到 KG”的三段流程讲得清晰,适合作为 KG 构建的工程化起点。
提醒:信息抽取与规范化高度依赖领域与 schema,务必看其错误类型分析。 -
选读(KGC 总览):Bian, H. LLM-empowered knowledge graph construction: A survey https://arxiv.org/abs/2510.20345
推荐理由:给出 LLM 赋能 KGC 的谱系与问题清单。
提醒:综述类材料适合“建地图”,落地还得回到具体管线与评测。 -
必读(GraphRAG 总览):Peng, B., et al. Graph Retrieval-Augmented Generation: A Survey https://arxiv.org/abs/2408.08921
推荐理由:把“图+检索+生成”的主要路线系统化,适合做第四篇的总入口。
提醒:GraphRAG 的“图”可以是 KG、段落图、实体共现图等,阅读时先分清图的定义。 -
选读(GraphRAG 具体路线):Han, H., et al. Retrieval-Augmented Generation with Graphs (GraphRAG) https://arxiv.org/abs/2501.00309
推荐理由:与综述配套阅读,帮助把抽象框架落到可操作模块。
提醒:注意其检索与聚合步骤的复杂度与可扩展性。 -
备查(KGE 综述):Cao, J., et al. Knowledge Graph Embedding: A Survey from Representation Spaces https://arxiv.org/abs/2211.03536
推荐理由:理解“向量化 KG”的几何直觉与方法族谱,适合作为第33回的旁证资料。
提醒:KGE 研究跨度长,和 LLM 系统结合时要重点看“接口设计”而非单点指标。 -
选读(LLM for Graph 总览):Ren, X., et al. A Survey of Large Language Models for Graphs https://arxiv.org/abs/2405.08011
推荐理由:帮助理解“LLM↔图”融合的几种典型范式。
提醒:此领域概念多、命名多,建议对照本书第34–35回的分类阅读。 -
选读(伪代码提示图推理):Skianis, K., et al. Graph Reasoning via Pseudo-code Prompting https://arxiv.org/abs/2409.17906
推荐理由:用“程序式中间表示”把图推理变得更可控,适合与第38回的工作流直觉合看。
提醒:提示法对鲁棒性敏感,需要看其对不同图结构/规模的泛化。 -
备查(知识图谱与语言技术综述/背景):https://link.springer.com/article/10.1007/s44163-024-00175-8
推荐理由:作为背景材料理解 KG 在更大知识工程语境中的位置。
提醒:不同出版物对 KG/语义网的口径可能更偏传统知识工程。
5. 智能体、工作流与多智能体(第四篇到第五篇的桥)
-
必读(工具学习综述):Qu, C., et al. Tool Learning with LLMs: A Survey https://arxiv.org/abs/2405.17935
推荐理由:把“工具调用/选择/执行”从技巧汇总成路线图,适合做第21–23回的补强。
提醒:工具学习的评测常受环境与任务定义影响,读时要抓“可验证协议”。 -
选读(工作流综述):Yu, C. A Survey on Agent Workflow https://arxiv.org/abs/2508.01186
推荐理由:帮助把“agentic”从泛概念落到工作流架构层面。
提醒:综述里对术语的定义可能与别处不同,建议固定一套口径。 -
必读(工作流基准):Xiao, R., et al. FlowBench https://arxiv.org/abs/2406.14884
推荐理由:用基准把“工作流规划”落地,可用于验证系统改动是否真有提升。
提醒:基准覆盖的工具与任务有限,上线前仍需自建回归集。 -
选读(可靠执行):Ro, Y., et al. Sherlock: Reliable and Efficient Agentic Workflow Execution https://arxiv.org/abs/2511.00330
推荐理由:关注“执行层”可靠性,适合系统工程读者。
提醒:要对照其假设:工具错误率、环境约束、审计能力等。 -
必读(多智能体机制综述):Multi-Agent Collaboration Mechanisms: A Survey of LLMs https://arxiv.org/abs/2501.06322
推荐理由:把多智能体的协作结构、通信与分工讲成框架。
提醒:多智能体的收益常来自“并行与验证”,而非“多说几遍就更对”。 -
必读(挑战与开放问题):Han, S., et al. LLM Multi-Agent Systems: Challenges and Open Problems https://arxiv.org/abs/2402.03578
推荐理由:用问题清单校准预期,适合做研究选题与系统设计的“反面清单”。
提醒:开放问题类文章的价值在于界定难点,不提供现成答案。 -
必读(失败分析):Cemri, M., et al. Why Do Multi-Agent LLM Systems Fail? https://arxiv.org/abs/2503.13657
推荐理由:把失败模式系统归类,有助于工程止血与评测设计。
提醒:失败模式不止“模型能力”,更常见是系统设计与验证缺失。 -
选读(长期记忆系统):Multiple Memory Systems for Enhancing Long-term Memory of Agent https://arxiv.org/abs/2508.15294
推荐理由:讨论“记忆模块”分型,适合做个性化/长期任务。
提醒:记忆系统容易与隐私/合规冲突,必须配套治理。 -
选读(立场文):Position: Episodic Memory is the Missing Piece for Long-Term LLM Agents https://arxiv.org/abs/2502.06975
推荐理由:帮助形成“情景记忆”的直觉与问题意识。
提醒:Position 类文章偏观点,读时要把“主张”与“证据”分开。 -
备查(自省代理原典):Shinn, N., et al. Reflexion https://arxiv.org/abs/2303.11366
推荐理由:作为“反思循环”的代表性早期工作,便于理解后续工作流/代理的谱系。
提醒:反思有效性高度依赖验证信号与任务结构。
6. 后 Transformer:高效架构与注意力机制
-
必读(Mamba 原典):Gu, A., Dao, T. Mamba https://arxiv.org/abs/2312.00752
推荐理由:理解“线性时间建模 + 选择性”的核心动机。
提醒:不同实现与硬件细节会影响实际收益,读时区分理论复杂度与工程吞吐。 -
必读(SSM 统一视角):Dao, T., Gu, A. Transformers are SSMs https://arxiv.org/abs/2405.21060
推荐理由:把注意力与 SSM 的关系讲得更统一,适合作为“为什么它们能合流”的解释材料。
提醒:偏方法论与算法视角,读者可先抓“大图景”。 -
选读(混合模型):Lieber, O., et al. Jamba https://arxiv.org/abs/2403.19887
推荐理由:理解“Transformer+SSM+MoE”等混合路线的工程折中。
提醒:混合结构的优势常在特定长上下文与吞吐目标下体现。 -
选读(高效注意力综述):Li, Z., et al. Efficient Attention Mechanisms for LLMs: A Survey https://arxiv.org/abs/2507.19595
推荐理由:把“线性注意力/稀疏注意力/近似注意力/硬件优化”等路线放到同一张地图里,适合做技术选型前的入口。
提醒:综述里方法众多,关键是找与你的序列长度、硬件与精度需求匹配的子类。 -
备查(FlashAttention-3):Shah, J., et al. FlashAttention-3 https://arxiv.org/abs/2407.08608
推荐理由:硬件与算子层面的关键进展,关心推理/训练吞吐者可重点看。
提醒:实现细节强相关 GPU 代际与精度设定。
7. 原生多模态:统一 token 空间的路线
-
必读(早融合模型):Chameleon: Mixed-Modal Early-Fusion Foundation Models https://arxiv.org/abs/2405.09818
推荐理由:理解“文本与图像共用 token 空间”的设计直觉与训练挑战。
提醒:多模态的“对齐”不等同于“理解”,评测与数据覆盖是关键。 -
必读(下一 token 即一切):Wang, X., et al. Emu3: Next-Token Prediction is All You Need https://arxiv.org/abs/2409.18869
推荐理由:把多模态统一到 next-token 预测叙事,适合与本书第42回一起读。
提醒:统一叙事不代表统一难度;不同模态的 token 化方式会决定上限。 -
选读(多模态情感综述):Yang, H., et al. Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey https://arxiv.org/abs/2406.08068
推荐理由:作为应用侧入口,帮助理解“多模态+语言模型”在任务定义上的细节。
提醒:情感分析与通用多模态推理差异较大,不建议直接当通用结论。
8. 机械可解释性(SAE)与“拆念头”
-
必读(SAE 特征发现):Bricken, T., et al. Sparse Autoencoders Find Highly Interpretable Features in Language Models https://openreview.net/forum?id=F76bwRSLeK
推荐理由:以较清晰的方式展示“用 SAE 在残差流里找可解释特征”的核心图景。
提醒:可解释性结论需要强基线与复现实验支撑,阅读时关注其验证协议。 -
必读(SAE 综述):Shu, D., et al. A Survey on Sparse Autoencoders https://arxiv.org/abs/2503.05613
推荐理由:把训练策略、解释方法、评估与应用做系统归纳,适合作为第44回的总地图。
提醒:综述中对“未来方向”的判断是观点,价值在于问题清单。 -
必读(谨慎立场):Use Sparse Autoencoders to Discover Unknown Concepts, Not to Act as Concept Detectors https://arxiv.org/abs/2506.23845
推荐理由:学习“如何给新工具降温”:强调 SAE 更适合发现而非直接当检测器/方向盘,适合做方法论护栏。
提醒:看其与简单基线的对照方式,别只看口号。 -
备查(产业案例):Anthropic. Evaluating Feature Steering https://www.anthropic.com/research/evaluating-feature-steering
推荐理由:作为产业侧公开案例,帮助理解“特征操控”如何被拿来讨论偏见缓解与副作用。
提醒:博客不是完整学术评测;读时把它当“案例”,而非“定论”。
9. 表征工程(Steering)与安全评测(第45回主轴)
-
必读(总体框架):Wehner, J., et al. Taxonomy, Opportunities, and Challenges of Representation Engineering https://arxiv.org/abs/2502.19649
推荐理由:把 steering/ablation/干预方法放进分类学框架,适合做安全讨论的共同语言。
提醒:分类学的价值在“统一术语”,不是给出万能最优解。 -
必读(评测与基线):Wu, Z., et al. AxBench https://arxiv.org/abs/2501.17148
推荐理由:强调“强基线”与系统化评测的重要性,能有效抑制“新方法幻觉”。
提醒:评测覆盖范围决定它能否代表你的场景,读时要对照其任务集合。 -
选读(系统安全评估框架):SteeringSafety https://arxiv.org/abs/2509.13450
推荐理由:把“训练外 steering 的安全风险”体系化地测量,是工程落地前的关键检查表候选。
提醒:不同 threat model 下的结论会变,阅读时先锁定你的威胁模型。 -
选读(风险提示):The Rogue Scalpel: Activation Steering Compromises LLM Safety https://arxiv.org/abs/2509.22067
推荐理由:明确指出“能操控就可能破坏安全”,适合与第45回的护栏设计对照。
提醒:此类工作往往依赖特定攻击流程,重点学其“攻击思路与防守口径”。
10. 基础底座与“老武功”(用于对照与补课)
-
必读(扩展定律):Kaplan, J., et al. Scaling Laws for Neural Language Models https://arxiv.org/abs/2001.08361
推荐理由:理解“规模与性能”的宏观关系,是读懂第10回与后续资源配置讨论的底座。
提醒:扩展律不是永恒常数,数据分布与训练配方会改变曲线。 -
必读(算力最优):Hoffmann, J., et al. Training Compute-Optimal Large Language Models https://arxiv.org/abs/2203.15556
推荐理由:把“数据量与参数量如何配比”讲清楚,是训练配方讨论的核心参考。
提醒:最优点依赖预算与训练目标,读时注意其假设。 -
选读(小模型高效):Abdin, M., et al. Phi-3 Technical Report https://arxiv.org/abs/2404.14219
推荐理由:作为“能力/成本折中”的产业路线代表之一。
提醒:技术报告更像工程总结,关注其配方与评测覆盖。 -
选读(Llama 3 报告):Grattafiori, A., et al. The Llama 3 Herd of Models https://arxiv.org/abs/2407.21783
推荐理由:理解开源大模型配方与评测策略的现实样本。
提醒:报告里很多技巧是系统工程组合,读时抓“关键瓶颈与取舍”。 -
选读(MoE upcycling):Vavre, A., et al. Llama 3 Meets MoE: Efficient Upcycling https://arxiv.org/abs/2412.09952
推荐理由:理解“从 dense 到 MoE”的一种工程路线。
提醒:MoE 的收益常伴随路由/负载均衡等工程复杂度。 -
备查(注意力解释性警惕):Jain, S., Wallace, B. C. Attention is not Explanation https://arxiv.org/abs/1902.10186
推荐理由:提醒读者别把“注意力权重”误当因果解释,适合与第44–45回的可解释性讨论对照。
提醒:这是方法论警示,解决方案要回到更严格的因果与对照。 -
选读(ViT registers):Darcet, T., et al. Vision Transformers Need Registers https://arxiv.org/abs/2309.16588
推荐理由:作为“架构小改动带来行为变化”的案例,适合多模态读者拓宽视野。
提醒:与语言模型并非同设定,读时抓机制类比即可。 -
选读(xLSTM):Beck, M., et al. xLSTM https://arxiv.org/abs/2405.04517
推荐理由:作为 RNN/序列建模路线的 2024 延伸,用于与 SSM/Transformer 做对照。
提醒:序列模型谱系复杂,读时抓“解决了什么瓶颈”。 -
备查(补充链接):https://arxiv.org/abs/2305.13048 ,https://arxiv.org/abs/2410.01201 ,https://arxiv.org/abs/2405.00172 ,https://arxiv.org/abs/2412.09871
推荐理由:这些链接在本书早期章节作为补充材料出现,建议读者按正文语境对照阅读。
提醒:若你希望把它们纳入系统阅读路线,建议先在对应回目复核其引用上下文与作用点。 -
备查(Nature 背景资料):https://www.nature.com/articles/nature14236
推荐理由:作为更广泛科学传播语境下的背景材料,用于建立跨领域直觉。
提醒:非专门面向 LLM 的技术论文,读时以背景理解为主。
11. 读后评语:把 2024–2026 的“新武功”归成三条主线
主线一:从“会说”到“会过关”(可验证推理)
- 2024–2025 的能力跃迁,很多时候来自“把推理当成可控流程”:多尝试、会回看、能校验。
- 但推理评测极易被任务定义与约束条件误导,所以“评论/复现”类材料在这一段格外重要。
- 对工程读者而言,最值钱的不是更长的思维链,而是更可审计的验证节点。
主线二:从“查资料”到“能办事”(RAG→工作流→智能体)
- RAG 的终点不是把上下文塞满,而是让系统能决定“何时查、查什么、查错了怎么办、证据够不够”。
- 评估与隐私不再是附加题,而是上线第一天就会遇到的主问题。
- 多智能体的收益通常来自“并行 + 交叉验证 + 明确止血机制”,而不是“多嘴就更真”。
主线三:从“外部对齐”到“内部可控”(SAE/Steering 与新风险)
- SAE 等方法让我们第一次有机会把内部表示拆成更稀疏的“念头字典”,但它也会制造新的“可解释性幻觉”。
- Steering/表征工程像旋钮:能快速改变行为,也可能破坏安全护栏,因此评测与强基线是必备护法。
- 能力越强,护栏越贵:这不是口号,而是系统工程的现实税。
12. 来源说明(你该如何看待这些链接)
- arXiv 论文版本会更新:结论与图表应以你阅读时的版本为准。
- 博客/技术报告用于理解“产业路线与叙事”,不应替代可复现实验。
- 综述用于“立地图”,基准用于“定尺子”,方法论文用于“出新招”,评论/复现用于“画边界”。