Skip to content

把文章里的推导变成可运行的反例 ​

31 篇文章的共同要求是:提出一个机制时,也解释它会在哪种情况下失效。本页将其中能够确定计算的部分收进一个离线程序。它使用 Python 标准库,包含内存 SQLite 查询,不调用模型、不联网、不连接真实选课或工单系统。

2026-09-20 在 Python 3.12.10 上运行,20 组检查全部通过。这些是固定教学数据上的机制核验,不是模型准确率,也不是原论文复现。

下载离线实验程序。在文件所在目录运行:

sh
python stanford-2026-lab.py

在本站源码根目录也可运行:

sh
python docs/public/examples/stanford-2026-lab.py

程序逐项显示检查名,最后输出 Ran 20 tests 与 OK。故意错误的查询和策略作为反例保留:测试通过的含义包括“它确实暴露了预期错误”,并不意味着错误策略可用。

CS224V:同一批数据怎样穿过系统 ​

从 C1–C6 虚构课程开始,先执行硬约束查询,得到 C1、C5、C6;加入人工设定的文本标签后,明确支持的是 C1,待核实的是 C6。程序没有模拟一个语言模型去“理解”评价,标签本身就是实验输入。

检查对应文章检查要区分的两件事
01、02结构化查询半开区间边界与真正重叠;单个时段不冲突与所有时段均不冲突
03结构化查询没有冲突记录与时间表资料完整
04结构化查询连接后的评价行数与课程实体数
05SUQL先取 top-k 后过滤与先过滤后取 top-k;合取与含例外的或条件
06SUQL未知与反对;逻辑组合与最终展示策略
07可靠系统单门可选与组合后总学分可行
08SPINACH同一机构任职与同一时期任职
09SLIDERS已有年份递增与所有所需年份均有依据
10DataSTORM原始总体变化与固定人群构成后的比较
11SMT存在一个合格世界与所有兼容世界都合格;未知与矛盾
12文档转录字符错位与最小编辑次数;错误率与概率
14Worksheets、Harness当前草稿的检查与晚到的旧检查;旧确认与当前确认
20训练目标指定监督位置的损失与被大量容易 token 稀释的平均损失

特别留意检查 03:删除 C1 的时间表记录,却不更新“资料完整”标记,查询仍会错误通过。接着显式标为不完整,才停止推荐。这项实验表明,正确 SQL 依然依赖数据接入时维护真实的完整性状态。

检查 11 使用 8 个布尔世界枚举,不是 Z3 实现。它足以展示为什么先检查事实一致性,也足以捕捉空集合上 all(...) 为真的程序陷阱;更复杂的数值、量词或理论组合需要专门求解器。

CS329Z:从证据到动作,再到验收 ​

检查对应文章可复算结果或反例
13工具调用、长任务恢复响应丢失后原操作 ID 返回同一结果;换新 ID 会重复创建;同 ID 不同内容被拒绝
14框架、记忆输入改动使旧确认与旧检查失效,晚到结果被拒绝
15RAG、编程 AgentB 2.0 仅采用 D4;两个排序列表的融合使 D2 领先
16RAG十题各命中一项证据,“任一命中”十题通过,“全部找齐”零题通过
17评测、裁判独立三次至少一次成功 99.2%,三次全成功 51.2%;裁判 88% 准确率仍有 20% 坏主张被放行
18数据质量按 90/10 分布加权为 93.2% 与 93.4%;均衡样本得到 74% 与 83%
19多 Agent、主动式 Agent、SUQL串行 17 与教学并行 13;收益 5、打扰成本 2 的阈值为 2/7;两种谓词顺序成本为 1.1 与 5.04

概率公式依赖独立、同成功率等假设;耗时和成本计算依赖文章明确给定的模型。这些算例解释分母与取舍,不能直接预测生产流量。

哪些部分还没有被这些检查证明 ​

内存工单服务只演示顺序调用,没有持久化、并发、租约和跨服务事务保证;进程重启会失去记录。草稿对象只演示版本绑定,没有实现真实数据库的原子提交。知识图谱时间筛选由程序计算,没有连接图谱执行 SPARQL。

证据是否真正支持主张、模型是否能提出有效问题、反思是否有收益、训练是否改善未知判断,都需要文中描述的独立数据与真实模型实验。这里没有将这些语义问题替换成固定标签后,再报告系统成功率。

怎样继续自己的实验 ​

先选择一篇文章中的错误机制,修改一个条件,写下预期变化,再运行对应检查。例如把 C2 开始时间移到 16 点,时间约束应通过;把上限改为 6,C1 应退出候选;把 C6 从未知改为明确支持,只有文本依赖的结果应变化。

然后再接入模型,保留原来的确定性中间结果作为定位依据:模型解析错、数据接入错、查询错和解释错应分别登记。固定例子负责发现机制回归,另外抽样的数据负责估计实际任务效果,二者分别报告。

返回系列总目录