约瑟夫·魏岑鲍姆于20世纪60年代开发的ELIZA，堪称有史以来最具影响力的计算机程序之一。ELIZA，尤其是其最著名的人格DOCTOR，至今仍是程序员的灵感源泉。它引发了关于人工智能（AI）更广泛的讨论，催生了诸多对其的模仿。作为所有对话界面和聊天机器人的鼻祖，ELIZA尤其令研究AI和计算领域的工程师、历史学家和哲学家着迷。ELIZA能凭借相对少量的计算机代码生成类人回应，这一能力为大量类似程序铺平了道路。这些程序以对话智能体和其他人机界面的形式出现，在计算机科学领域催生出数个全新的研究领域。本文将探讨魏岑鲍姆对AI的贡献，并结合生成式AI（如ChatGPT）的当代发展状况，思考其更具批判性的著作。此外，本文还将通过研究有关ELIZA的讨论，为当前围绕机器学习和AI的争论提供一些思路。本文原题为“The Limits of Computation: Joseph Weizenbaum and the ELIZA Chatbot”，原刊于Weizenbaum Journal of the Digital Society 3(3)，由译者以CC-BY协议许可翻译并发表在《智能社会研究》2024年第6期。大卫·贝里（D.Berry）任职于萨塞克斯大学媒体、艺术与人文学院。王立秋为哈尔滨工程大学人文社会科学学院讲师。澎湃新闻经授权刊发。
一、引言
人工智能（AI）承诺采集并重塑人类最强大的能力—语言、创造力、推理和智力的本质。进步正飞速发生，在过去短短十年间，AI就产生了实际影响，自2019年以来，这种发展更是显著加速。2022年，像OpenAI的ChatGPT和StabilityAI的StableDiffusion这样的突破，被认为以前所未有的方式提升了人类在语言和艺术方面的创造力与生产力。在本文中，我想联系ELIZA来思考这一领域近来的进展。在许多人看来，ELIZA是如今所谓生成式AI的前身，它是一个相对简单的聊天机器人（对话智能体）程序，使计算机内基于对话的界面成为可能。
ELIZA由约瑟夫·魏岑鲍姆于20世纪60年代开发。可以说，它是有史以来最具影响力的计算机程序之一。ELIZA，尤其是其最著名的人格DOCTOR，仍然吸引着程序员，并催生了各种对它的模仿。虽然ELIZA影响了计算机科学乃至更广泛的文化，但它的初始源代码从未被公布或广泛传播。[1]不过，它是所有聊天机器人的前身、对话式人机互动的鼻祖，也是大众对计算机可能形象的想象（如1968年电影《2001：太空漫游》中的HAL9000和2013年电影《她》中的操作系统）的灵感来源。这个所有对话界面和聊天机器人的始祖仍然令研究人工智能和计算的工程师、历史学家和哲学家尤为着迷。值得注意的是，ELIZA在对计算历史产生实质性影响的同时，也使其永远陷入与性别和阶级的问题性假设的纠葛之中（见下文）。ELIZA能够利用相对少量的计算机代码生成类人回应，凭借这一能力为大量类似程序铺平了道路。这些程序以对话智能体和其他人机界面的形式出现，在计算机科学内部激发了几个全新的研究领域（Boden，1977）。
值得注意的是，OpenAI在2022年发布ChatGPT，为复杂大语言模型（LLM）系统GPT3设计合适界面时，决定采用聊天机器人的形式。虽然该公司尚未充分解释使用这种基于文本的模型背后的逻辑，但使用该系统本身就表明，很可能是创造人格的能力促使开发者这样设计系统。为进一步探究这一点，本文认为，回顾过去对理解像ChatGPT和类似产品这样的AI产品的特殊性或许有用。这就意味着要思考以前的系统，尤其是ELIZA。我尤其想要考察约瑟夫·魏岑鲍姆（Weizenbaum，1976）在《计算机的力量和人的理性》中呈现的反思。在书中，他联系人类思想不可简化（不能把人的思想简化为逻辑函数，尤其是简化为ELIZA）这一特性来构建自己的研究框架。[2]这本书提出了合理性与逻辑——尤其是计算机程序和数学公式中能实现的逻辑——之间关系的问题。正如魏岑鲍姆（Weizenbaum，1976：11）所论证的：“把计算机引入我们已然是‘技术社会’的社会……只是强化和放大了先前的那些压力，这些压力迫使人对自己的社会采取一种日益高度合理性的看法，并为自己塑造一个越来越机械的形象。”魏岑鲍姆认为，应该对给计算机分配的任务设限。这意味着要为计算的部署建立规范限制，因为计算机会影响人在世界上寻找自身定位的欲望。他担心计算机严格遵循工具编程逻辑时形成对同情或人际尊重的伪装，认为这种欺骗将会无意间给双方带来改变的交流性相遇变成一种造成疏离的接触。他（Weizenbaum，1972：316）也预见到了对计算机决定提出异议的困难，他写道：
还没有评论，来说两句吧...