最适合先做的,是一本研究实践小书、一个可下载知识库,以及依托现有留言区的公开评阅流程。它们共享同一批有来源的材料,而不是各建一套重复内容。
先做什么,不做什么
| 载体 | 最合适的材料 | 当前选择 |
|---|---|---|
| 书 | 想法如何变得可检验;从记忆、负结果到用户验证 | 实践型小书,先首章,不包装成突破自传 |
| 网站 | 现有研究目录、观察框架、来源和修订 | 复用个人 Lab,不再新增空壳站 |
| 开放知识 | 不含隐私的知识摘要与模板 | 先公开可下载;许可与完整原始数据另行核定 |
| 评审与纠错 | 每条具体主张的来源、复现步骤和作者回应 | 接现有审核留言,不伪装学术评审平台 |
暂不把私人医疗推测、家庭资产、第三方邮件、未经验证的数学突破或诺奖评价做成公开书稿。它们不是缺一张封面,而是缺少必要的证据或公开权限。
一本可以不断修订的小书
暂名:《留给后来的人:把想法变成可纠错的知识》。面向借助 AI 做研究和原型的人;重点不是“我有多少想法”,而是“怎样知道一个想法值得继续”。
- 1. 从想到,到留下证据
区分问题、假说、实验结果和传播效果。 · 已写首章 - 2. 记忆应当帮助改变
AI 记忆与情境误用:比较实验,而不是先相信倒 U 形。 · 提纲 - 3. 一个没有成功的预测
恢复特征的负结果,以及为什么仍值得保存。 · 提纲 - 4. 事后答案与当时决策
用可见信息、确认延迟和对照区分能力与运气。 · 提纲 - 5. 原型之后的第二步
代码能运行与真人愿意使用是两道验收。 · 提纲 - 6. 购买了什么,获得了什么
记录事前期待与事后使用;不把 AI 分数当客观价值。 · 提纲 - 7. 给后来者的接口
来源、版本、失败条件、许可和隐私边界。 · 提纲 - 8. 把纠错写进作品
怎样接收异议、修订和撤回,不伪装同行评审。 · 提纲
第一章:从想到,到留下证据
一个想法最容易被记住的时候,往往是它刚刚出现的时候。那时它还没有遇到测量、比较和失败。它可以同时解释许多事,也可能正因为没有说清条件,才显得无所不能。
这本工作中的小书,不打算把一串灵感装订成发现清单。它想留下另一种东西:从一个问题到一个可以被检查的说法,中间发生了什么。
一个问题,可以有不同的下一步
“记忆越多,就越懂我吗?”是一个值得留下的问题。旧信息即使正确,也可能被放进错误的新情境。一个人过去爱做的项目,并不自动是他今天想听的建议。
但从这个观察,不能直接推出“记忆越多,回答越差”。重复推荐也可能来自提示词、检索方式或模型默认倾向。更精确的做法,是固定一批问题,比较无历史、普通摘要和带时间及适用条件的记忆。评判的不是回答看起来有多聪明,而是它有没有尊重当前意图。还要保留偏好没有改变的对照,避免把忘记一切误当成理解。
到这一步,想法才获得了一个重要的新属性:它可以输。若条件化记忆没有改善事先规定的误用率,就应当修改或放弃这个具体版本,而不是不断换指标直到出现好看的曲线。
负结果不是没有留下东西
另一份研究记录比较了比特币冲击后的恢复特征与强基线。第一轮保存的 778 个测试事件里,主模型的 Brier 分数没有改善;扩展到另一段数据后,改善很小,原包的不确定区间跨零。
这不是“比特币不能预测”的证明,更不是交易业绩。研究已经接触过这些历史年份,保存预测的重新评分也不等于从原始行情重训。准确的结论比较小:在这些事件、数据和模型范围内,没有建立稳定增量价值的证据。
这个较小的结论仍然有用。它告诉后来者哪一条路试过了、怎样试的、哪里还不确定。若只保存最漂亮的数字,下一位读者会继承希望,却继承不了判断希望值多少钱的依据。
一本可纠错的书
同一个句子可以是用户的原始提问、助手提出的解释、论文已有的结论,或者一次实验得到的结果。把它们写在相邻的段落里,不会让它们拥有相同的证据。
因此,每一项记录至少需要回答六个问题:谁提出的?什么时候提出的?具体声称什么?依据是什么?什么会使它失败?后来改了什么?
这并不要求所有私人材料都公开。可公开的聚合结果、经过检查的代码和清楚的限制,比一份混有他人隐私的聊天导出更有价值。一个公开网页也不自动等于开放许可,更不等于同行评审。读者可以提出异议,站长可以回应;在没有独立审查之前,不能给自己加上“已经评审”的标签。
不只留下答案
如果后来的人只能引用结论,却无法知道它适用于哪里,这份传承就很脆弱。如果他能看到当时的问题、失败的比较和修订原因,就不必从同一处重新摸索。
保存知识不是把今天的自己冻结下来。它也包括允许未来的自己说:这句话当时写得太满了,这个指标没有我想的那么好,这个问题值得换一种问法。
这本书的第一步不是完成整本书,而是先交出一页能接受检查的记录。
--- 草稿 v0.1,2026-11-12。根据鲜唯佳的公开研究问题和记录,由 dot 协助编写;不是用户未经编辑的原话,不宣称独创科学成果。实验数字与局限见公开研究目录。
新增方法短章 · v0.2 · 2026.11.12
分数变好,不等于你以为的地方变好
研究很容易在一个数字面前停下来:新方法的误差更小了,所以它更好。问题是,“更好”到底指什么?
Brier score 把概率预测与结果之间的平方差取平均。低分是较好的总体概率预测表现,但总分把几种不同能力混在了一起。校准问:所有声称有六成概率的事件,是否大约发生六成?分辨率问:模型能否把不同风险的情形分开?两者不是一回事。
想象世界只有两个等大群体,一组事件必定不发生,一组必定发生。甲不知道区别,对所有人都报五成。它在五成这个概率层面校准得很好,却没有区分能力。乙知道区别,却只敢报一成和九成。它没有完全校准,但 Brier 分数从甲的 0.25 降到 0.01。
这不是说校准不重要,而是说一个总分不能回答所有问题。把新指标命名为“能力”,再看它上涨,很容易让我们把命名当成了发现。
独立研究可以多做一步:先写下指标到底测量什么,再写下它不测量什么。投资预测的概率评分不是扣除成本后的收益;历史样本上的表现不是前瞻表现;能在已有题目上复现答案,不等于面对新条件仍然有效。
真正值得传给后来人的,不只是一个漂亮分数,还包括:什么数据产生它、哪些假设支撑它、什么反例会推翻解释,以及后来人怎样重算一次。
方法来源:Murphy (1973), A New Vector Partition of the Probability Score。附录代码提供合成例子,不使用真实交易或私人数据。
亲自复算一次
两个等权群体的事件概率分别为 0 和 1。A 对所有人报 0.5;B 分别报 0.1 和 0.9。以下是指定总体的合成演示,不是实测收益、真实用户数据或新数学发现。
| 预测 | Brier 总分 | 校准误差(reliability) | 分辨率(resolution) |
|---|---|---|---|
| A | 0.25 | 0 | 0 |
| B | 0.01 | 0.01 | 0.25 |
采用二分类单概率平方误差均值。脚本核验 Brier = reliability − resolution + uncertainty;两组 uncertainty 都为 0.25。这个例子说明总分变好不保证校准单独变好,不是说校准不重要。
使用 Python 3 标准库运行:python3 brier_counterexample.py。结果含浮点舍入误差;断言已通过。
方法依据:Murphy (1973), A New Vector Partition of the Probability Score ↗。本短章由 dot 协助撰写,非正式同行评审;不赋予第三方材料新的许可。
知识卡,不是成果包装
每张卡记录主张、来源、归属、证据、限制、失败条件与下一步。这里是公开摘要,不替代原始预测或代码;“可下载”也不等于经过独立验证。
K001 · retrospective_negative_result
恢复特征未建立稳定增量预测价值
在已定义数据、事件和模型范围内,未建立恢复特征具有稳定增量预测价值的证据。
证据:已保存预测的Brier评分复算;未从原始行情重跑全流程
限制:历史年份已被接触;无成交、成本或因果结论;不证明绝对无效
阅读完整来源与边界 ↗K002 · untested_hypothesis
AI记忆可能发生情境误用
带时间和适用条件的记忆,可能比普通摘要更尊重当前意图。
证据:具体观察及实验提案,没有该假说的新实验结果
限制:不能声称普遍倒U形;提示词与检索方式亦可能解释现象
阅读完整来源与边界 ↗K003 · product_validation_framework
原型可运行不等于用户愿意用
技术验收与真人使用价值应分开检验。
证据:已有原型和审阅意见,未形成可证实增长结论的用户实验
限制:不能断言分发是唯一瓶颈,也不保证有人用就能盈利
阅读完整来源与边界 ↗公开评阅与纠错
你可以指出事实错误、推理缺口或复现差异。请围绕具体条目和版本,附公开可查的来源。不同意见不自动成立;站长审核是否展示,也不代表评审质量已被认证。
- 引用条目 ID 与版本,写清要检查哪一句。
- 提供来源、日期或可重复的步骤;分开“我不同意”和“我发现证据不符”。
- 通过现有留言中心登录提交,审核后公开。
- 经核对成立的修改,应保留原说法、修订日期与理由;本页目前没有独立审稿记录。
不在留言中提交敏感个人资料或他人保密内容。这里不承诺定期审稿,也未向期刊、OpenReview、PubPeer 或其他第三方平台投稿。
材料与边界
这次制作读取了七个基本假设的原文、现有研究与个人观察目录,并复用本轮已审阅的研究包与作品审阅结论;不是重新逐字阅读所有聊天。私有索引和原始聊天没有随书稿公开。研究目录里的独立评分仅复算保存预测,没有重跑完整模型。
- 七个基本假设:区分原话、后续解读与验证边界。
- 研究结果与待验证假说:证据成熟度目录。
- 发现,不只发生在实验里:AI协作的个人观察。
- 把知识留给后来的人:此前知识传承目录。
许可说明:当前工作材料公开可读、可下载,但尚未授予统一开放许可证;第三方材料保留原有权利。没有将私人来源或他人的作品重新许可。