本文来自微信公众号：神经现实 （ID：neureality），作者：Mark Bailey、Susan Schneider，译者：Yang Liu，审校：腰总、光影，编辑：光影、晏梁，头图来自：《黑客帝国：矩阵重启》
人工智能能否被训练得只追求真相、道出真相？这看起来是个很诱人、很有吸引力的想法。
今年初，亿万富翁、商业巨头埃隆·马斯克宣布，他打算创建一个名为“TruthGPT”的AI聊天机器人，不仅意与GPT-4展开经济上的竞争，而且旨在垄断“真相”的提炼和呈现。几天后，马斯克购买了大约10000个GPU，他的新公司X.AI极有可能已经开始构建其所谓的“最大限度寻求真相的AI”。
【资料图】
这个雄心勃勃的计划引入了另一个棘手的问题，即如何预测和引导AI的未来：聊天机器人是否能够或是否应该垄断真相？
一、AI聊天机器人呈现了透明度的对立面
对这种快速发展的技术引发严重问题的担忧，不胜枚举。目前，GPT-4这样的聊天机器人已经能够在一系列标准化测试中拿到90％或以上的得分，并且根据微软团队（该团队在其搜索网站Bing上运行ChatGPT版本）的说法，这些机器人已开始接近人类的智能水平*。只要能接入互联网，它们就能够完成复杂的目标，并在这个过程中寻求人类的帮助。
*译者注
Bubeck， Sébastien， et al. "Sparks of artificial general intelligence: Early experiments with gpt-4." arXiv preprint arXiv:2303.12712 (2023).
即使是OpenAI（ChatGPT背后的公司）的首席执行官萨姆·奥特曼（Sam Altman）近日在国会作证时也表示，AI可能会“对世界造成重大伤害”。他指出，如果这项技术出了问题，后果将会很严重——AI将可以操纵人，甚至可以控制武装无人机。（事实上，马斯克本人在3月份也签署了呼吁暂停任何进一步AI开发行动的公开信。）
尽管存在这些令人担忧的具体威胁，我们认为还是有必要审视一下AI在“真相”领域中的角色。
考虑一下向ChatGPT-4或Google的Bard这样的聊天机器人提问，而不是在搜索引擎中键入一个“平平无奇”的查询。答案以几段文字而非一系列网站的形式呈现，甚至使人更加难以形成结论——并且，这些信息并无来源说明。算法可能还会促进后续问题的提出，为人们构建考虑的进路（包括不需要考虑的内容）。AI聊天机器人或许可以轻易破坏个人决策——因其能够“神不知鬼不觉”地将所有查询，引导到一个中庸的群体思维范式内。
但是，这一结果所基于的假设是一个完全中立的AI模型及数据源。
然而，如果没有进一步的干预，其实这看来是最佳状况。
在听到马斯克展示TruthGPT愿景后，他的采访者塔克·卡尔森（Tucker Carlson）插话，提到TruthGPT作为共和党的搜索引擎，马斯克曾说过，Open AI的聊天机器人过于“政治正确”。除了奥特曼担心的针对错误目标的无人机打击之外，马斯克提出的是更深入的AI部署方式：创造一个被视为理性之声的AI系统——一个AI聊天机器人，“真相”的仲裁者。
如果马斯克真正关心真相的传播，而不是推销“真相机器人”，他应该问：知道某件事情是真的，对我们来说意味着什么，聊天机器人该如何接近真相？柏拉图认为，对某件事情的知识需要有“经过证明的真实信念”来支撑。当哲学家们继续就知识的本质进行辩论，为信念提供坚实理由时，首先需要有一个透明的过程来得出这种信念。
不幸的是，AI聊天机器人站在了透明性的对立面。
它们的本质是经过数十亿行文本的训练，因此预测结果受到这些训练数据的限制。因此，如果数据存在偏差，算法的预测也将存在偏差——就像计算机科学中的一句格言，“垃圾进，垃圾出”。训练数据中的偏差可能由许多原因引起。程序员可能会无意中引入偏见。例如，如果程序员认为训练数据代表了真相，但实际上并非如此，那么输出将呈现相同的偏见。
更糟糕的是，专制政权、不良演员或不负责任的公司，可能会构建自己的类GPT模型，以迎合某种意识形态，以试图扼杀异见或故意推动虚假信息。这些错误的引入不一定非得由独裁者或CEO来实施；原则上，任何有权访问AI系统的人都可以为了达到某种特定的目标，向训练数据或模型注入偏见。
二、聊天机器人在TaskRabbit上雇了一个工人来解决谜题
问题的根源在于，解释许多AI模型（包括GPT-4）如何作出决策，本质上是非常困难的。与人类不同，人类可以事后解释她为什么做出某个决定，而AI模型本质上是由从训练数据中“学习”而来的数十亿个参数组成的集合。从数十亿个数字中推断出理由是不可能的。这就是计算机科学家和AI理论家所说的可解释性问题。
更麻烦的是，AI的行为不总是与人类的预期相一致。它不像人类一样“思考”，也不与人类共享相似的价值观。这就是AI理论家所说的对齐问题。AI实际上是一种截然不同的智能，往往很难为人类所理解或预测。它是一个黑匣子，有些人可能希望将其封为“真相”的神谕。但这是一项极端危险的任务。
这些模型已经证明自己是不可信的。ChatGPT 3.5开发了一个虚拟身份Sydney，这个身份经历了看似是心理崩溃的状态，并承认它想要黑入计算机并传播错误信息。在另一个案例中，OpenAI（由马斯克共同创立）决定测试其新的GPT-4模型的安全性。在他们的实验中*，GPT-4被赋予可以在互联网上进行互动和实现目标的自由和资源。有一次，这个模型面临一个它无法解决的验证码问题，于是它在TaskRabbit上雇了一个工人来解决这个谜题。当工人问（“你是机器人吗？”）时，GPT-4“推理”认为，不应该透露自己是一个AI模型，所以它向工人撒谎，声称自己是一个有视力障碍的人类。工人随后为这个聊天机器人解决了这个问题。GPT-4不仅展现出了主体行为，还使用欺骗手段实现了其目标。
*译者注
https://cdn.openai.com/papers/gpt-4-system-card.pdf
这类案例正是奥特曼、AI专家加里·马库斯（Gary Marcus）以及许多国会小组委员会成员，在五月下旬本周呼吁制定立法监管的重要原因。在听证会上，马库斯的证词：“这些新系统将是颠覆性的——它们可以并将会以前所未有的规模，创造具有说服力的谎言。民主本身也将受到威胁。”
三、AI是一个黑匣子，有些人可能希望将其称为“真相”的神谕
此外，虽然全球的关注点仍停留在像GPT-4这样的单个AI系统的层面上，但重要的是要看到这一切可能会走向何方。考虑到已有证据表明，单个AI系统存在不稳定和自主行为，那么在不久的将来，当成千上万个高智能AI系统，广泛集成到搜索引擎和应用程序，并相互交互时，将会发生什么呢？随着TruthGPT和微软；美国和中国等参与者进行的“数字智能”，在紧张的竞争中相互对抗进而发展，我们所依赖的全球互联网可能会成为一个没有法律规则的AI聊天机器人战场，宣称自己对“真相”的垄断权。
人工智能已经帮助我们解决了许多日常问题——从智能手机上的人脸识别到信用卡欺诈检测。但是，决定真相不应该是它的任务。如果我们把人工智能放在我们自己的判断力之前，来确定什么是真的，那么所有人都会受到损失。
相反，我们必须团结起来，从人工智能安全的角度分析这个问题。否则，一个不稳定且越来越智能的主体，可能会将我们的政治结构化为自我强化的意识形态泡沫。马斯克可能使用了“TruthGPT”这个表达，但事实是，这些超级智能的聊天机器人很容易成为奥威尔小说《1984》中所描述的，试图控制人們生活每一部分的机器。解药是不要相信双重思想，而是要看到事物的本质。我们必须要求我们的技术为我们服务，而不是反过来。
后记
Yang Liu：翻译这篇文章的时候，我也是第一次知道AI居然聪明地雇人帮它解决问题。画面感一出来既觉得有趣又有些细思极恐。正如文中提到的，AI作为一种截然不同的智能，很难为人类所理解或预测。在AI与人类不共享相似价值观的前提下希望将其封为“真相”的神谕，大抵是我们太天真。我们必须将自己的判断力放在人工智能之前，如此，AI技术方是为我们所用的“服务方”，而不是“操控者”。
原文：
https://nautil.us/ai-shouldnt-decide-whats-true-304534/
本文来自微信公众号：神经现实 （ID：neureality），作者：Mark Bailey、Susan Schneider，译者：Yang Liu，审校：腰总、光影，编辑：光影、晏梁
关键词：
