29 篇论文的独立实现。每篇一个目录，各自带实现、测试，和一份说明 「论文报告 / 本仓实测 / 差异归因」的 README。
| # | 论文 | 可验证的指标 | 状态 |
|---|---|---|---|
| 01 | Keeping Neural Networks Simple by Minimizing the Description Length of the Weights — Hinton & van Camp <https://www.cs.toronto.edu/~hinton/absps/colt93.pdf> 1993 | ✅ 二部码长在 σ 网格上有内点极小；**固定模型时 MDL 选的 σ 比测试最优偏小**（代价 1.02–1.49×，随先验尺度）；跨 degree 选择代价 1.116×；噪声权重部分：解析梯度 <1e-6，噪声水平被学成内点最优（总码长 193→4.85 nats） | 完成 |
| 02 | A Tutorial Introduction to the Minimum Description Length Principle — Grünwald <https://arxiv.org/abs/math/0406077> 2004 | ✅ NML 后悔值：R(1)=1.0000 … R(1e5)=**8.6330**；斜率 **0.5**（误差 <0.02）；Kraft 和 = **1.000000000000000**；偏移收敛到 **0.5·log₂(π/2)=0.3258**（实测 0.3282）。只做 NML，未做 two-part / prequential / AIC-BIC 对比 | 完成 |
| 03 | The First Law of Complexodynamics — Aaronson <https://scottaaronson.blog/?p=762> 2011 | ✅ 上界论证：shortcut 74→88 bits vs 状态 1272→12128 bits。**猜想经验检查**：complextropy = 压缩(细)−压缩(粗)，在咖啡自动机上从 −12 升到峰值 **757**，终点 633——**上升明确、下降只有 16%**，只部分支持原文的 rise-and-fall | 完成 |
| 04 | Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton — Aaronson et al. <https://arxiv.org/abs/1405.6903> 2014 | ✅ 按论文定义复现：熵 90→1516；复杂度 111→537→110。**双压缩器对照**：LZ77 与 order-2 的峰值都在 **1,333,333 步**（537 / 211.4 字节），所以「先升后降」**对压缩器稳健**；但「降回起点」只有 LZ77 成立（order-2 终点 20.7 vs 起点 2.6） | 完成 |
| 05 | Kolmogorov Complexity and Algorithmic Randomness — Shen, Uspensky, Vereshchagin <https://www.lirmm.fr/~ashen/kolmbook-eng-scan.pdf> — | ✅ Huffman：英文样例 H=4.2984 / L=4.3366（54.21% of 定长 8 bit），H ≤ L < H+1、Kraft 取等 <1e-12、前缀无关、往返一致；偏斜源 L=1.1700 vs 定长 3 bit。**未做**：算术编码与 NCD（指标里的后两条） | 完成 |
| 06 | Machine Super Intelligence — Legg <https://www.vetta.org/documents/Machine_Super_Intelligence.pdf> 2008 | ✅ Υ 有界；三档 agent 排序成立（随机 **0.5024** / 最优固定 **0.5145** / oracle **0.9412**）；归一化 Υ 对编码平移严格不变（c=0…16，差 <1e-12），未归一化按 2^(−c) 缩放。**K 不可计算**，用有限环境类代替；原 PDF 取不到，公式未逐字核对 | 完成 |
| 07 | The Unreasonable Effectiveness of RNNs — Karpathy <https://karpathy.github.io/2015/05/21/rnn-effectiveness/> 2015 | ✅ 字符级 RNN + BPTT：val **2.952** bits/char（order-0 **4.495**），梯度 5.9e-7。**n-gram KL 曲线**：unigram 一开始就对齐（0.052），trigram 从 **8.13 → 5.26** | 完成 |
| 08 | Understanding LSTM Networks — Olah <https://colah.github.io/posts/2015-08-Understanding-LSTMs/> 2015 | ✅ 梯度回收（‖∂L/∂h₀‖）：T=20 时 LSTM 比 vanilla 高 **412×**，T=40 高 **≈10⁶×**（vanilla 1e-12 ≈ 零）。**原设想的「T=20 准确率 >90%、vanilla ≈ 随机」未复现**：同预算 copy 上 vanilla 更好（T=5 1.000 vs 0.872），原因见切片差异归因 | 完成 |
| 09 | Recurrent Neural Network Regularization — Zaremba et al. <https://arxiv.org/abs/1409.2329> 2014 | ✅ **dropout 让曲线停在最低点附近**（无 dropout 2.985→4.099；非循环 0.5 3.070→3.070）。**论文的核心警告未复现**：再加循环 dropout 反而略好（3.037），因为记忆走细胞状态路径不经过 `W_h`（已用结构测试固定）。论文规模 650–1500 单元 / PTB，不可比 | 完成 |
| 10 | ImageNet Classification with Deep CNNs (AlexNet) — Krizhevsky et al. <https://arxiv.org/abs/1207.0580> 2012 | ✅ conv/pool 反向 4.2e-10；ReLU 在 0 处的解析/数值导数 0.0 / 0.5；**6× 加速比未复现**——合成图 30 张（24 vs 17 步）与 **CIFAR-10**（各自调 lr：ReLU 0.6714 vs tanh 0.6705）两套规模都是 | 完成 |
| 11 | Deep Residual Learning (ResNet) — He et al. <https://arxiv.org/abs/1512.03385> 2015 | ✅ **退化现象复现**：合成 24 块 MLP（0.100 vs 0.993）；**CIFAR-10 上 10/20/40 层**：plain 0.6587 → 0.6636 → **0.5599**（40 层掉 10 个点），residual 0.7003 → 0.7359 → **0.7364**（单调不降） | 完成 |
| 12 | Identity Mappings in Deep Residual Networks (ResNet v2) — He et al. <https://arxiv.org/abs/1603.05027> 2016 | ✅ pre/post 对比（1461×）；加 BN 后 64 块 dL/dx 3.86e14→**5.25e01**；**identity 初始化（式 4）**：8 块在初始化时与跳过全部块**完全一致**（差 0.0） | 完成 |
| 13 | Multi-Scale Context Aggregation by Dilated Convolutions — Yu & Koltun <https://arxiv.org/abs/1511.07122> 2015 | ✅ 膨胀卷积 ≡ 零插入核的普通卷积（max\\|Δ\\| = **0.0**）；[1,2,4] → **15×15**，7 层 `1,1,2,4,8,16,1` → **67×67**（与论文一致，故 padding 33）；覆盖 225/225 无洞；参数 63 vs 单个 67×67 的 4489；分辨率不变 | 完成 |
| 14 | CS231n: Convolutional Neural Networks for Visual Recognition — Karpathy, Li <https://cs231n.stanford.edu/> — | ✅ im2col 卷积 == 朴素卷积（max\\|Δ\\| ≤ **5.3e-15**，非逐位相等）；输出尺寸公式 4 组一致；max-pool 与反向路由逐位正确；**VGG16 参数量 = 138,357,544**（依赖 7×7×512 / 1000 类 / FC 带 bias 三个约定） | 完成 |
| 15 | Neural Machine Translation by Jointly Learning to Align and Translate — Bahdanau et al. <https://arxiv.org/abs/1409.0473> 2014 | ✅ 反转任务上精确匹配 **1.00**、对齐命中 **1.00**（长度 5）；注意力行和误差 1.1e-16；梯度 5.6e-10。**长度泛化有限**：只训 5 → 长度 6 归零；混合 3–6 → 7 尚可（0.97）、9 崩（0.02）。无 BLEU（toy 任务，且用 vanilla 单元而非 GRU） | 完成 |
| 16 | Attention Is All You Need — Vaswani et al. <https://arxiv.org/abs/1706.03762> 2017 | ✅ 多头注意力解析梯度 vs 有限差分 **4.0e-10**；置换等变性 **5.6e-17**；∂L/∂b_k ≡ 0（softmax 平移不变，实测 6.3e-17）。**未复现** BLEU（无 WMT14 / GPU，切片只到注意力块） | 完成 |
| 17 | The Annotated Transformer — Rush <http://nlp.seas.harvard.edu/2018/04/03/attention.html> 2018 | ✅ 全模型梯度 4.9e-10；因果掩码 Δ=0.0；copy 1.00。**label smoothing 两半**：ppl 1.0012 → **1.0980**（贴近推导下限 1.0976）✅；准确率两模型在 10/16/20 长度上都是 100%，**饱和，测不出来**。顺带修了 greedy_decode 的 max_len 截断 bug | 完成 |
| 18 | Order Matters: Sequence to Sequence for Sets — Vinyals et al. <https://arxiv.org/abs/1511.06391> 2015 | ✅ **结构**：集合编码器池化上下文在置换下差 **2.8e-17**，LSTM 编码器差 0.12–0.19。**效果**：排序 n=6 **1.000**、n=8 **1.000**（LSTM 0.920 / 0.830）。梯度 1.3e-10。**只做了输入侧不变性**，论文的输出侧 order loss 未做 | 完成 |
| 19 | Pointer Networks — Vinyals et al. <https://arxiv.org/abs/1506.03134> 2015 | ✅ 排序：n=6 **0.940**，外推 n=10 0.75。**TSP（2D，暴力最优监督）**：loss 1.096→0.694，但精确回路匹配 **0.025**、路径 1.357×最优——**跑通但没学会**，组合优化这条仍是负结果 | 完成 |
| 20 | A Simple Neural Network Module for Relational Reasoning — Santoro et al. <https://arxiv.org/abs/1706.01427> 2017 | ✅ 置换不变 4.4e-15；计数任务 0.985。**CNN 对照（GPU）**：最近对同色问题，CNN **0.8707** vs CNN+RN **0.8848**——差 1.4 个点，**远小于论文报告的差距**，该主张未复现出量级 | 完成 |
| 21 | Relational Recurrent Neural Networks — Santoro et al. <https://arxiv.org/abs/1806.01822> 2018 | ✅ 槽间 MHDPA：行和 1.1e-16、置换等变 2.2e-16、梯度 6.4e-10。**与 LSTM 对比**：记住首个符号的任务上，L=5 两者均 1.000；L=20/50/100 时 LSTM **0.331/0.336/0.331**（随机水平），RMC **1.000/1.000/1.000**。RMC 实现是简化版（槽一次性注意全序列，非论文的逐时间步更新） | 完成 |
| 22 | Neural Message Passing for Quantum Chemistry — Gilmer et al. <https://arxiv.org/abs/1704.01212> 2017 | ✅ 置换不变 5.6e-17、等变 4.4e-16、梯度 9.4e-11；合成图回归 MAE 0.563 vs 1.970。**边特征 + 消融**：无边形特征 **2.567**，有边 **1.171**（降到 45%）。没有 QM9 | 完成 |
| 23 | Neural Turing Machines — Graves et al. <https://arxiv.org/abs/1410.5401> 2014 | ✅ 寻址算子精确；**copy 任务（GPU）**训练长度 5、12000 步收敛到 **94.6%** 整序列准确率（loss 1.19→0.043），但长度 8/10/12 外推 **0.0%**——**论文的长度外推没有复现** | 完成 |
| 24 | Deep Speech 2 — Amodei et al. <https://arxiv.org/abs/1512.02595> 2015 | ✅ CTC：DP 与暴力枚举差 ≤8.9e-16；全部 243 条路径塌缩质量 = 1.000000000000；**梯度 vs 有限差分 8.1e-10**（4 种情形）；**贪心 + 前缀 beam 解码**，beam 不差于贪心、无 blank。未测真实语音解码 | 完成 |
| 25 | Variational Lossy Autoencoder — Chen et al. <https://arxiv.org/abs/1611.02731> 2016 | ✅ 后验坍缩：β 0.01→10 时 KL 10.242→0.102、活跃维度 8→4。**自回归流先验（GPU）**：MNIST bits/dim 从 **0.2290 → 0.1098**（减半），编码器/解码器/优化器完全相同，只换先验；雅可比符号有独立测试。未实现论文的有损编码与解码器侧自回归 | 完成 |
| 26 | GPipe — Huang et al. <https://arxiv.org/abs/1811.06965> 2019 | ✅ 前向逐位相同（0.0）；峰值激活 6144→1184（5.19×）；**反向**：梯度 vs 有限差分 **9.2e-10**，微批梯度与整批差 **2.1e-14**。无多设备、无重计算 | 完成 |
| 27 | Scaling Laws for Neural Language Models — Kaplan et al. <https://arxiv.org/abs/2001.08361> 2020 | ✅ 8/10 个规模的真实曲线，数据充足子集 α=**0.0778**（r²=0.993），论文 0.076。**L(N,D) 联合拟合**：12 个点（4 规模 × 3 预算），**L = 14.90·N^−0.234 + 2044.9·D^−0.533 + 0.833**，r²=0.970；指数比论文大 2–5 倍（网格只有 200 万–2000 万 token） | 完成 |
| 28 | Proximal Policy Optimization — Schulman et al. <https://arxiv.org/abs/1707.06347> 2017 | ✅ 裁剪梯度精确（外侧 0、内侧 −rA）；GAE λ=0/1 边界精确。CartPole 贪心评估 499.8–500.0。**MuJoCo HalfCheetah**：50 万步 / 14 分 36 秒，回报 519 → **1280**（随机约 −300），但不到论文的 2000+ | 完成 |
| 29 | Deep RL from Human Feedback — Christiano et al. <https://arxiv.org/abs/1706.03741> 2017 | ✅ Bradley–Terry 梯度 **1.7e-10**；留出偏好准确率 **0.950 / 0.826**（Bayes 上限 0.947 / 0.842）。**闭环**：偏好→奖励→PPO，策略真实回报 **9.954/10**（随机 3.125），最优 token 频率 99.4%；但学到的奖励均值 **13.58**（真实 9.95）——BT 只定尺度，随策略一起被放大。偏好仍是合成的 | 完成 |