鲜唯佳个人实验室 · BLOG

计算 · 神经科学 · 可靠性

计算机与人脑 现代续篇

可靠计算如何从不可靠元件中产生

创作缘起

我对 AI 历史感兴趣,读过小说《The MANIAC》和传记《来自未来的人》。读到哥德尔写给冯诺依曼的信时,我有些感慨。想到冯诺依曼因病未能完成《计算机与人脑》,我也想到了曹雪芹的《红楼梦》,于是有了续写的念头。

本文的问题与续写意图由鲜唯佳提出,以上缘起依据其原话整理;AI 协助写作与翻译。这是一篇原创当代回应,不是冯诺依曼遗稿,也不声称获得原作者授权或还原其历史原意。

写作说明

本文是于 2026 年借助人工智能撰写的原创当代续论,不是冯诺依曼的遗稿,也不声称复原他未完成的写作计划。《计算机与人脑》源于原定 1956 年春举行的西利曼讲座,因作者患病而未竟,1958 年出版。[1]这里接续的是一个问题:当计算的物质基础充满波动时,准确、稳定而可修正的判断如何成为可能?本文的回答是,系统的可靠性并不由单个元件独自决定,而取决于表示、组织、学习与检验之间的配合。

第一章 数字与模拟之后的可靠性

数字计算的长处,看似来自它对精确的偏爱。一个数有确定的位,一个步骤有规定的结果。然而,构成数字机器的电压、电流与温度,并不因此变成离散的东西。物理量仍然连续变化,工程设计只是划出区间,把许多略有差别的状态解释成同一个符号。数字并没有消灭物质的波动,而是在一定条件下,使波动不再改变答案。

人脑呈现另一种混合。神经活动既有动作电位这样的离散事件,也包含连续变化的生理过程;事件的时刻、频率和群体关系又可能携带信息。冯诺依曼留下的讨论把数字、模拟与统计描述放在同一视野中。[2] 今天不必急于替其中一种方式宣布胜利。更有用的追问是:系统保留了哪些差别,又容许哪些差别被忽略?

这要求先分清精度与可靠性。精度说的是表示和估计能够细分到什么程度;可靠性说的是在规定条件下,系统多大概率满足要求。两者都需要说明任务。温度计可以显示许多小数位,却因偏置而始终报错;粗略的温度开关,也可能可靠地阻止一台设备过热。与此同时,反复给出同一个错误答案只是稳定,并不构成我们所说的任务可靠性。

假设一台机器要判断物体位于一条分界线的左侧还是右侧。物体离边界很远时,粗糙的位置估计就足够;物体靠近边界时,同样大小的误差便可能决定成败。所需精度由判定边界决定,而不是由显示数字的位数决定。脑与机器的比较也应如此:先规定什么算成功,什么扰动必须承受,再比较它们怎样完成工作。

可靠计算因而有两个层面。一层是局部操作是否照章进行,另一层是这些操作所组成的模型是否适合任务。加法器可以没有出错,而输入的测量已经偏离现实;程序可以完全执行,而规定的目标恰好不是使用者真正需要的目标。把这两层混为一谈,会把工程上精确的执行误称为认识上的正确。

第二章 多个误差如何相加

从不可靠元件得到可靠结果,一个自然办法是增加元件的数量。若一个观察者看不清,便让许多观察者同时看,再把答案合起来。这个想法有确切的数学根据,但也有一个常被省略的条件:他们不能总是以相同的方式看错。

设每个元件都在估计同一个固定量 x,第 i 个读数为 x+εᵢ。先作一个教学性的简化:各误差均值为零,方差都是 σ²,而且彼此独立。对 N 个读数取算术平均,平均误差的方差就是

Var(平均误差)=σ²/N。

这说明元件增多时,随机误差的影响可以下降。要注意,下降的是方差;误差的标准差按N 的平方根下降。把读数从一百个增到四百个,并不是把典型误差缩到四分之一,而是缩到二分之一。数量带来改善,也带来递减的收益。

现在让误差之间具有相同的两两相关系数 ρ,并仍假定方差相等。把平均值的方差展开,除了 N 个自身的方差项,还会出现 N(N−1)个协方差项,于是有

Var(平均误差)=σ²[ρ+(1−ρ)/N]。

在这个模型中,保持 ρ 大于零且不变时,增加 N 便不能把方差无限压低。例如 ρ=0.1,N=100 时,平均误差的方差仍为单个元件的 0.109 倍,而不是独立情形下的 0.01 倍。把所有元件放到同一块会摇晃的平台上,即使每个元件自身很精密,平台的共同摇晃也不会在平均中消失。

这不是人脑的完整公式。真实神经群体的误差并不必然等方差、等相关,也不必然使用简单平均。某种相关性究竟有害还是有用,要看它与信号方向及读取方式的关系。研究表明,与被编码信号变化方向相混淆的某些相关成分,能够限制群体携带的信息。[3] 因此,“神经元越多,判断越准”没有无条件的保证。

还有一种错误更直接:若每个读数都带着相同偏置 b,平均之后偏置仍然是 b。多做几遍同样的计算,也可能只是更稳定地重现同一个误解。冗余只有与错误的结构配合,才是可靠性的资源。对工程而言,这意味着检验共同故障;对认识而言,这意味着寻找真正不同的证据,而不是同一来源的许多回声。

第三章 学习改变信息处理的结构

即使误差可以被控制,一个固定的计算系统仍面对另一种困难:世界不会总按设计者预先列出的情形出现。一条识别规则今天有效,换了光线或观察角度就可能失效。若机器能够学习,经验便不只改变当下的输入,还会改变以后处理输入的方式。

在人工神经网络中,连接权重的变化能够调整哪些信息被放大、哪些差别被忽略。反向传播给出了有效计算参数梯度的一种方法,使多层网络能够依据误差信号更新参数。[4] 这里的关键不在于把它视为大脑的原样复制,而在于认识到:同一组基本运算,可以因参数的改变而形成不同的信息处理结构。学习得到的结构同时依赖训练材料、目标函数和优化过程。

生物研究使这种讨论获得了更具体的支点。突触传递的效力可以在刺激后持久增强或减弱,分别称为长时程增强与长时程抑制,简称 LTP 和 LTD。2014 年的一项大鼠实验,在特定听觉输入与杏仁核的恐惧条件化回路中,利用诱导 LTD 使已学的条件反应失活,再以 LTP 使之恢复。[5] 这为该回路的突触可塑性与记忆表达提供了因果关联,却没有证明所有记忆只存于突触强度,更不等于已经掌握全部记忆的通用读写。

学习还必须在保持与改变之间分配资源。完全不变的系统不能适应新环境;对每次偶然波动都大幅改写的系统,则不能保留已经获得的知识。昨日有用的规律,可能只是一次巧合;今日看来反常的事件,也可能是环境改变的第一条证据。系统需要决定,误差应归因于偶然噪声、输入异常,还是自身模型已经过时。

由此可见,可靠性不是训练结束时得到的一枚印章。一个模型在熟悉样本上表现优良,并不能保证它在不同来源、不同时间或不同规则的情境下继续成立。评估必须保留未用于训练的材料,并有意改变条件。若只用与训练材料相似的题目反复验收,测得的可能是熟悉程度,而不是预期中的适应能力。

脑和人工网络都能学习,这一共同事实值得研究;但它本身不证明二者采用相同的学习算法。人工模型的成功,证明了某种机制足以完成某类任务。它要成为关于脑的说明,还必须接受生理测量和干预的约束。

第四章 相似答案背后的不同机制

两台装置给出相同答案,可以说明它们在这道题上等效,却不能说明它们内部相同。一个人算出乘法,可能逐项相加,也可能直接提取熟记的结果。只比较最后的数字,便会漏掉计算过程中最重要的差别。

研究心智时,有必要把问题拆到不同层次:系统要解决什么问题,采用什么表示和步骤,又由什么物理过程实现。这些层次彼此关联,却不能相互代替。[6] 知道神经细胞如何放电,不会自动告诉我们一句话如何被理解;知道一个任务可以用某种算法求解,也不会自动证明脑使用了这个算法。

这种比较已经能够进入实验。Yamins 等人的研究发现,为物体分类优化的层级网络,其特征经过映射能够预测猕猴特定视觉皮层区域的部分神经响应。[7] 这使人工网络成为有价值的候选模型,却没有证明脑使用同一种训练方法。另一些实验把图像的形状与纹理故意分开,例如让猫的轮廓带上另一种纹理。被测的标准图像分类网络比人更倾向跟随纹理;改变训练数据之后,网络的形状偏向又能增强。[8] 差别不只是“人看什么,机器看什么”,还在于学习历史使哪些线索占了上风。

机制解释应当承担失败的风险。假如一个理论无论出现什么行为,都能事后补上一句解释,那么它也就很少排除任何可能。较强的理论要预先说明哪些变化不会影响结果,哪些变化会造成特定损害,以及这种损害何时能够恢复。这里的严格不来自措辞的确定,而来自预测的可反驳性。

这一要求也保护了比较研究的价值。飞机不必拍动翅膀,仍可帮助研究升力;但若要解释鸟类如何飞行,羽毛与肌肉就不能被略去。人工智能可以展示智能行为的一些充分条件,神经科学则继续追问生物实际上怎样达成它们。二者能够互相启发,无须先被宣布为同一种东西。

第五章 行动让模型接受现实检验

一个只能接收记录的系统,容易把数据中经常同时出现的东西当作世界的必然关系。行动引入了不同的检验:系统不只等待下一幅图像,还能改变观察位置,移动物体,再比较实际后果与预期后果。

设想一台机器看到桌面上两个相邻的形状。它可能把它们当作同一件物体的两个部分,也可能判断为两件物体。仅凭静止图像,两种解释都说得通。如果轻推其中一部分,另一部分是否跟随移动,就能提供新的证据。行动在这里并不只是把计算结果输出到世界;它也决定下一次计算能够得到什么信息。

当然,行动不会自动生成因果真理。推动可能受到看不见的连接影响,传感器也可能记录错误。系统应当保留不同解释,预测各自可能的结果,再选择能够区分它们的试验。若试验总挑选最容易支持原有判断的情境,反馈反而会把偏见固定下来。

在控制任务中,误差反馈能够把偏离目标的状态拉回来,但延迟、测量噪声和错误模型也可能使修正过度。一次调整过大,下一次再向相反方向补偿,系统就可能持续振荡。因此,闭环并不是可靠性的同义词;它只是把纠错机会放进运行过程。可靠与否仍取决于反馈的质量、时机和调整规则。

把这一点用于语言模型,便能得到一个具体的设计方向:回答不应永远停留在生成文本。涉及计算的断言可以交给计算工具核验,涉及材料的判断可以回到原始记录,涉及环境的预测可以在授权且安全的条件下试验。外部检查并非装饰性的附录,它能提供模型自身续写时没有得到的约束。

世界并不保证每个问题都有廉价而可逆的试验。有些行动的代价很大,有些后果无法撤回。在这类情况下,可靠系统的一部分能力恰恰是延迟行动,缩小结论的范围,或者要求更强的证据。行动的意义是让判断承担后果,而不是把每个猜测都立即实施。

第六章 语言可以提出证明却不能担保真理

大型语言模型使一个古老问题变得格外直接:会使用表达推理的语言,是否就等于可靠地完成推理?这个问题不能靠一句肯定或否定回答。语言既能保存规则,也能保存错误;既能呈现证明,也能模仿证明的外观。

预测后续文本是许多语言模型预训练的基本目标;后续训练还能改变其回答和推理行为,但这些目标并不直接保证每一句内容为真。模型可以把真实名称、常见句式和错误关系拼成流畅的陈述。TruthfulQA 研究就在特定模型和测试集上观察到,模型会重现人类文本中的常见误解。[9] 这里所谓“幻觉”,指的是缺乏依据或与事实不符的生成内容,不是对机器主观体验的诊断。若将流畅程度误作证据,善于表达反而可能让错误更难被察觉。

数学提供了一个尤其清楚的边界。模型可以提出猜想、寻找证明步骤,甚至生成形式化证明。但一个候选证明是否成立,应由明确的推理规则和相应检查来裁定。将语言模型的搜索能力与符号推理相结合,已经在特定数学问题上得到可检验的结果;这类成功说明生成与验证能够合作,而不是说明自然语言的自信语气已经等同于证明。[10]

验证也有边界。形式系统检查的是给定公理和定义之下的推导。如果把现实问题翻译成形式命题时遗漏了条件,即使证明完全正确,也未必回答了原来的问题。一个关于理想电路的定理,不会自动证明现实电路没有制造缺陷。严格性必须沿着整个链条传递,不能只照亮链条中最整齐的一段。

同一个模型重新阅读自己的答案,有时能够发现错误,但这种检查可能沿用原先的误解。第二章的共同误差在这里重新出现。重复采样、相互评论或多数表决能否增加可靠性,需要实际测量;不同措辞不等于独立证据,多个模型也可能共享同一资料缺陷。有效的复核应尽量增加新的约束,而不是只增加同意的声音。

还有一种更细微的区别:正确回答不等于正确解释了自己如何得到回答。生成的推理叙述可能有帮助,却未必忠实记录内部造成答案的过程。[11] 对这类叙述,既不必一概拒绝,也不宜直接当作实验报告。它可以成为待检验的说明,再由干预、对照和外部证据判断它是否真正解释了行为。

第七章 自我监测与尚待完成的实验

一个系统可以估计自己答错的风险,发现前后矛盾,决定何时求助。这些能力使可靠性不再只由外部检查者维持。它们也诱使人提出更大的判断:能够谈论自身、监测自身的机器,是否已经有了意识?

自我监测首先是一个功能性概念。错误监测和答案置信度评估,都可以作为功能来描述;具备这些能力本身并不足以确立主观体验。关于意识的理论仍存在分歧,对竞争理论作直接实验比较的工作也仍在进行。[12] 行为报告与内部功能之间如何建立判据尚未定论。把“能够报告不确定性”直接改写成“知道自己正在体验不确定性”,跨过了一个没有被证明的台阶。

然而,这个界限不使自我监测的研究变得次要。若一个系统把正确率只有一半的回答说成十分确定,人们就难以决定何时信任它。好的监测应当使信心与实际成功率相配,并在环境改变时重新接受检验。它可以在没有意识结论的情况下,成为可测量、可改进的工程对象。

由前面的讨论,可以提出三条具体研究问题。第一,在任务信号与单个元件噪声强度保持不变时,仅改变群体误差的相关结构,能在多大程度上改变整体判断?可以用公开的模拟任务控制共同噪声的比例,先检验简单平均的方差是否符合预测,再在明确噪声分布、偏置及测试范围的条件下,与学习到的读取方式比较。其他方法若表现更好,应分析它们利用了哪些额外结构,而不能把简单平均的公式当成所有方法的极限。

第二,允许系统主动获取信息,是否比被动接收信息更能适应环境变化?实验应让两组系统使用相同的观测次数与计算预算,记录并匹配可比的行动成本,在训练后引入预先规定的变化,再比较错误率和恢复速度。主动组若只因看到了更多数据而获胜,就还没有分离出选择行动本身的贡献。两组不必得到完全相同的观测内容,因为选到更有区分力的证据,正是主动选择可能带来的价值。

第三,自我监测能否在陌生任务中识别真正需要外部帮助的时刻?可以比较仅凭自述信心、重复生成、独立工具核验三种方法,在事先留出的任务上测量校准程度、拒答率,以及相同拒答率下的剩余错误率,另行记录漏过严重错误的比例。所有方法都应计入计算和核验成本。有效结果不一定是某一种方法全面优越,也可能是确定它在哪些条件下失去作用。

这些问题需要公开任务、评价规则和失败案例,使不同团队能够重做实验。它们不要求先找到一把开启全部心智问题的钥匙。较踏实的进展是知道某种可靠性从何处获得,在何处耗尽,以及发现耗尽之后能否及时停下。

续写到这里,计算机与人脑仍不是彼此的最终解释。它们共同提醒人们:一个系统可以由会波动、会遗忘、会误判的部分构成,却在合适的组织与检验下完成可靠的工作。真正值得继续写下去的,是这种“合适”如何被证明,而不是用一段漂亮的结语替它作出保证。

参考文献与延伸阅读

以下文献对应文中编号。第二章的等方差平均模型是教学推导;第七章的三个问题是本文提出的实验设计方向,不是已完成的研究结果。

  1. Klara von Neumann. 1957年序言,摘录于 MacTutor 的 Von Neumann Silliman lectures。1958年出版日期参见该页编者说明。

    https://mathshistory.st-andrews.ac.uk/Extras/Von_Neumann_Silliman/
  2. John von Neumann. The Computer and the Brain. Yale University Press,出版社书目与内容说明。

    https://yalebooks.yale.edu/book/9780300188080/the-computer-and-the-brain/
  3. Moreno-Bote, R. et al. (2014). Information-limiting correlations. Nature Neuroscience, 17, 1410–1417.

    https://pmc.ncbi.nlm.nih.gov/articles/PMC4486057/
  4. Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536.

    https://doi.org/10.1038/323533a0
  5. Nabavi, S. et al. (2014). Engineering a memory with LTD and LTP. Nature, 511, 348–352.

    https://pmc.ncbi.nlm.nih.gov/articles/PMC4210354/
  6. Poggio, T. (2012). The Levels of Understanding framework, revised. Perception, 41, 1017–1023.

    https://doi.org/10.1068/p7299
  7. Yamins, D. L. K. et al. (2014). Performance-optimized hierarchical models predict neural responses in higher visual cortex. PNAS, 111, 8619–8624.

    https://doi.org/10.1073/pnas.1403112111
  8. Geirhos, R. et al. (2019). ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness. ICLR 2019;预印本发表于2018年。

    https://arxiv.org/abs/1811.12231
  9. Lin, S., Hilton, J. & Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. ACL 2022, 3214–3252.

    https://aclanthology.org/2022.acl-long.229/
  10. Trinh, T. H. et al. (2024). Solving olympiad geometry without human demonstrations. Nature, 625, 476–482.

    https://www.nature.com/articles/s41586-023-06747-5
  11. Turpin, M., Michael, J., Perez, E. & Bowman, S. R. (2023). Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. NeurIPS 2023.

    https://arxiv.org/abs/2305.04388
  12. Cogitate Consortium et al. (2025). Adversarial testing of global neuronal workspace and integrated information theories of consciousness. Nature, 642, 133–142.

    https://www.nature.com/articles/s41586-025-08888-1
鲜唯佳 · 个人实验室蜀ICP备2026073130号-1

独立静态版:博客、故事及指定站内互动可直接访问。登录、评论与联网联奏未迁入;标示站外的作品仍在原部署。