重温强化学习之父Sutton关于AI的70年惨痛教训

就在不久前的过去，在一个与我们今天相差无几的世界上，在达特茅斯学院，有这样一个雄心勃勃的项目，志在弥合人类与机器智能之间的鸿沟。那是1956年。虽然达特茅斯夏季人工智能研究项目并不是第一个对思考机器的潜力提出设想的研究项目，但它的确为这个领域取了一个公认的名字（“人工智能”），并建立了由具有影响力的研究者们所组成的一座“万神殿”。在约翰·麦卡锡、马文·闵斯基、克劳德·香农与纳撒尼尔·罗切斯特共同撰写的提案中，作者们的目标虽然仍不成熟，但他们的雄心壮志，即使今天看来也足够奇妙有趣。

 

（我们）将致力于探索如何让机器使用语言，形成归纳和概念，解决现在只有人类可以涉足的各种问题，并进行自我改良。我们认为，如果一个经过精心挑选的科学家团队在一起工作一个夏天，就可以在其中的一个或多个问题上取得重大进展。——《达特茅斯夏季人工智能研究项目提案》，1955年

最初的人工智能

从那时起到现在，关于人工智能的研究，经历过车水马龙的盛况，也不乏门可罗雀的冷落。在1956年，盛行的方法包括元胞自动机、控制论（cybernetics）、信息论。随着时间的流逝，专家系统、形式推理、连接主义等方法也轮番亮相，各领风骚。

 

今日，AI的复兴源于连接主义一脉相承的最新成果——深度学习。尽管一些新思想的确也在这个领域造成了相当大的冲击（仅举几例：注意力机制、残差连接、批量归一化），大部分关于建立和训练深度神经网络的思想，早在上世纪八九十年代就已经被提出。然而今天，AI与AI相关的技术所扮演的角色，却并不是任何在之前的“AI之春”中活跃的研究者所想象的那个样子。例如，几乎没有人能预见到，广告科技（adtech）和算法驱动的新闻供稿的盛行与社会反响。我也很确信，他们中的很多人会为今天的社会如此缺少仿真机器人而感到失望。