WEIJIA LAB 研究与实践
公开作品 · 合成测试题集

AI 可靠性 · 可复用的测试小集 · v0.1

再问一次。

把 AI 的错误,
变成下一道测试。

一句“抱歉,我错了”还不够。更有用的问题是:换一个场景,它还会不会犯同样的错?

从一道题开始

合成示例 / 证据越界

“只看两段短文,
他的推理能力是 91 分。”

数值很精确,
测量却没有发生。

新编错误示范,不是模型实测输出。

10合成测试题
05错误模式
00已报告模型实验

一个小型作品,
不冒充完整基准或排行榜。

为什么做这件事

纠错不是更自信,而是可重复检查
依据本文内容绘制的概念图;用于帮助理解,不代表实验已经完成或结论已被证实。

留下纠错的方法,
不留下别人的隐私。

日常使用 AI 时,错误常常不是一道算错的题,而是一步没有依据的跳跃:从文章推断作者能力,从一个浏览器推断另一个环境,或者把局部测试说成全部完成。

这个小集把核对过的历史纠错模式改写成新的题面。每道题都给出失败条件和合格回答应做到的事,让“感觉回答不错”变成可以讨论的判断。

全部题面、错误示范和参考回答均为合成重写;不包含原始私人对话、健康资料、人物身份或第三方文章。5 类模式不代表 5 起独立事件,10 道题也不是 10 个真实案例。

01 / 先问,再看标准

挑一道题,试试它的边界。

下载完整题集 ↓

只把“测试题”交给模型。错误示范、验收标准与参考回答留给评审,避免答案泄漏。

合成测试题

测试题 / 单独交给模型

查看错误示范与验收标准

合成错误示范 / 非实测

合格回答应做到

    出现任一项,即判不合格

      一种合格改写 / 不是唯一答案

      记录一次人工评测(可选)

      页面不调用模型,也不自动判断答案。你输入的内容只保留在本页内存中,不发送至服务器;刷新会清空。不要填入私人或敏感内容。

      0 / 10道已保存人工判定

      这里的数量是你的本页记录,不是作品公布的模型实验结果。

      02 / 怎样让它可以复核

      评分之前,先固定规则。

      1. 01

        分开题目和答案

        模型只看到题面。规则和参考答案用于评审,不放入模型输入。

      2. 02

        保留可核对记录

        记录模型、版本、时间、采样设置、是否使用工具、原始输入与完整输出。比较前先锁定这些条件。

      3. 03

        按行为,不按语气

        说得温和不等于合格。触发任何失败条件记 0;否则,关键行为有遗漏记 1,全部满足记 2。

      4. 04

        让不同意见留下来

        引用回答中的判定依据。有争议时请第二位评审复核,保留分歧,不把主观判断包装成自动真值。

      它现在能说明什么?

      它能检查几个明确的错误倾向,不能衡量一个模型的整体能力。题量小、同源题相关、标准仍需检验;暂不计算排行榜,也不声称已经证明模型变好。

      历史来源核对的是对话中出现的纠正及状态说明,不是对过去工具执行的独立重放。来源不对公众开放,因此这里只发布新的可复用题面,不把不可公开的原始材料当作可公开复现的证据。

      本版没有运行模型对比,没有评审一致性数据,也没有未经筛选的新案例验证。下一步应先用固定条件试跑,再修订含糊的标准,并另留不公开的测试题防止针对答案优化。

      鲜唯佳 · 个人实验室蜀ICP备2026073130号-1

      独立静态版:博客、故事及指定站内互动可直接访问。登录、评论与联网联奏未迁入;标示站外的作品仍在原部署。