标准方差和标准误差

自上世纪五十年代起，人工智能研究的焦点之一便是预测问题。早期的跳棋程序设计便期望获得对棋局的精确预测。受限于当时的研究水平、数据采集规模和硬件条件，人工智能的学习算法尚未达到实用级别。尽管曾尝试模拟人的决策方式，如采用基于规则的方法或专家系统，但很快就面临组合问题，即无法涵盖所有可能性，总有例外情况出现。这一思路未能持续，最终被更高效的预测方法所取代。

与此Rosenblatt提出的感知机模型让人们看到了利用有限样本数量估计分类器性能的希望。这一方法的局限性很快被Marvin Minsky指出，无法解决异或问题，导致网络研究一度陷入困境，人工智能研究也进入了第一次寒冬。

尽管如此，人类在提升模型预测能力方面仍不断探索，采用各种方法，无论复杂或简单、统计或几何，都离不开对偏差和方差的平衡或折衷。

偏差类似于走在正确的道路上却因重心不稳而产生的与正确路线的差异。方差则反映了每次行走路线的不同，即哲学家赫拉克利特所说的无法两次踏入同一条河流。在预测时，我们希望偏差尽可能小以获得良好预测，同时也希望方差小以使模型更稳定。这两者之间存在天然矛盾。

减少偏差通常需要更精细地匹配真实路线，这意味着需要设计更复杂的模型。但这会增加数据敏感性，导致预测结果波动较大。而简单的模型，如直线行走，虽然稳定性好但可能忽略一些细节，导致方差较小。

从人工智能角度看，好的预测性能往往是三部分平衡的结果：偏差、方差和不可约简的噪声。世界的学习主要关注前两部分。为了逼近真实世界，有两种主要思路：一是尽量减少偏差，如使用1-近邻分类器；二是减少方差，如使用最小二乘法进行稳定逼近。