鲜唯佳个人实验室 · BLOG

研究提案 / LAB JOURNAL

让 AI 识别证据边界的两项研究提案

两项尚未实验的提案:检验证据条件的组合泛化,以及在结果揭晓前识别 AI 的预测增量。

研究提案,尚未实验。文献核查截至 2026 年 10 月 27 日。

从跨平台记录里寻找研究方向,值得保留的往往是一个不断收窄的问题:这句话到底由谁提出,在什么时间成立,凭现有资料能回答到哪一步?另一个问题紧随其后:如果 AI 确实更擅长某些预测,我们能否在结果揭晓前识别它们?

这两条线索有共同的工作方法:把适用条件写出来,再让新数据检验它们。它们的结果变量不同,不能合并成一条“通用智能定律”。下面优先推进第一项,第二项作为更长周期的前瞻复现。

一 检验证据条件能否跨组合生效

设想一份完全虚构的资料:甲转发乙的意见;一条旧通知被重新上传;另一条通知尚未生效。模型即使准确抄出了原句,也可能把意见归给甲,把上传时间当作生效时间。这里需要检验的是,系统有没有把“看到了文字”错误升级成“足以支持当前主张”。

具体假设是:在事实材料与调用预算固定时,显式核对主体归属、引用关系和有效时间,能在相同回答率下减少错误归因与跨时点引用;这种收益能够迁移到开发阶段未见过的条件组合。

相关工作已经很多。SelectiveNet研究预测与拒答的联合优化;时序问答拒答研究已经直接检验如何学会在缺少时序证据时不作答。更近的一篇个人记忆预印本把过期事实、身份错配和拒答分别测量。因此,“保留时间和来源”本身没有新颖性可言。

可能值得增加的,是一套专门检验组合泛化的压力测试:开发集分别出现转述、版本更新、信息缺失,留出集把它们交叉组合。例如,旧文件被新人转发,问题却询问原作者当时的立场。重点观察系统是否仍能指出缺少哪个条件,而非仅在熟悉模板上答对。这个增量目前只是候选,不是“文献尚无人做过”的结论。

首轮实验不训练模型,不需要私人聊天,也不上传任何公司材料。用公开可复用资料和虚构人物生成可核对的事件链,独立人工复核答案,按事件与模板家族隔离开发集和留出集。所有条件在正文里都能找到,结构化组不能额外获得答案或人工裁决标签。

采用两种模型乘两种流程的四组对照:普通问答,与先检查证据条件再回答的流程。各组使用同一资料包,预先锁定调用次数、输入输出上限和停止条件;模型版本也锁定,费用与时延另行报告,不把不同模型说成相同算力。拒答阈值只在开发集确定。

机制检验加入成对反事实题:保持引文不变,只改变转述者或生效时间,并相应重算标准答案;再测试字段缺失和错配。若模型随真实条件变化作出正确调整,才支持它使用了证据关系。仅附加“可靠来源”这样的标签不够,因为作者标签偏差研究发现,作者元数据本身会改变模型的信任与引用。

主要看相同回答率下的错误率,同时公布完整的错误率—回答率曲线、错误归因、过期引用与无依据回答。对可回答题大量闭嘴不能算成功;引用存在也不自动代表引用支持结论,正确归属也不证明原话真实。

若优势只来自更多调用、更多信息或更高拒答率,假设失败。若只在干净元数据上有效,就把结论限于该条件,继续报告元数据缺失与错误时的退化。只靠合成题成功,也只能说明通过了机制测试,尚不能宣称现实部署可靠。

两种模型M1、M2与两种流程A、B组成四组对照。A普通问答,B先核对主体归属、引用关系和有效时间再回答。四组使用相同材料并锁定调用预算,没有结果曲线。
研究提案,尚未实验。M1/M2代表两种模型;A为普通问答,B为先核对主体归属、引用关系和有效时间再回答,三圆点表示这三个检查条件。各组使用同一资料包,预先锁定调用次数、输入输出上限与停止条件;不同模型不据此视为相同算力。计划在相同回答率下比较错误率,并报告完整错误率—回答率曲线。此图只有设计,没有效果、胜者或已验证改进。

二 在结果出现前识别预测优势

更具体的预测问题是:能否只用预测当时可见的特征,识别 AI 相对同一时刻市场概率更有增量价值的任务?候选特征包括可用历史基准、信息更新速度、预测时距和市场活跃程度。每个特征都必须事先定义,不能看过结果后再命名“擅长领域”。

这也已有直接先例。相对预测能力预印本已经研究条件化组合与锁定留出,且明确指出仍需前瞻验证。因此这里合理的贡献是严格复现和边界检验,而非再宣称发现“AI 在某些题上更强”。

一个可失败的机制猜想是:当公开信息更新快、市场吸收较慢时,检索可能带来短暂增量。若增益只在允许额外检索时出现,而在相同证据包下消失,说明优势依赖额外信息获取,尚不能归因于更强推理。

先在历史开发数据上限定少数选择规则,然后冻结规则、模型、概率校准方法、预算和题目纳入标准。对之后结果尚未知、也尚未结算的公开问题按预定时刻封存预测,保存当时可见的资料与市场快照;同一事件的不同合约归为一组,避免把相关题当作大量独立样本。撤销、歧义和延迟结算如何处理,也提前写明。

比较 AI、同刻市场概率、历史基准率,以及开发集上确定的市场校准基线。在固定证据包与限额检索两种条件下分别报告 Brier 分数和校准;独立 AI 与固定权重混合分别评分,不把互补价值说成独立胜出。同一题不能反复问到满意才保留。ForecastBench的动态评测路线,提供了减少历史答案泄漏的参照。

依据最小有用差异与开发集的事件级误差波动确定所需事件数,预算不足就缩小主张,不靠少数命中宣布优势。用同题配对的市场相对增益评价选择规则,并报告选中与未选中事件的差异。若在达到预设精度后仍排除最小有用增益,就放弃优势主张;证据不足则记为未证实。事后挑选或未来信息泄漏得到的优势直接作废。概率评分更好也不能直接推出可获利交易。

三 先把可以失败的问题做扎实

当前最值得先做的是第一项:证据条件明确,错误可以定位,公共合成测试可以独立复核。第二项必须等待未来事件,适合在协议冻结后长期积累证据。

这两项工作的价值,取决于能否留下可复用的失败案例、清楚的适用边界和经得起留出检验的改进。先公开协议与合成材料,再讨论效果;如果没有改进,就把这个负结果完整留下。

参考研究

  1. SelectiveNet
  2. 时序问答拒答研究
  3. 个人记忆预印本
  4. 作者标签偏差研究
  5. 相对预测能力预印本
  6. ForecastBench
鲜唯佳 · 个人实验室蜀ICP备2026073130号-1

独立静态版:博客、故事及指定站内互动可直接访问。登录、评论与联网联奏未迁入;标示站外的作品仍在原部署。