比尔·盖茨、良十四世和 Jakub Pachocki 分别站在社会经济治理、宗教伦理、人类前沿 AI 研究三个几乎没有重叠的知识传统里，但最终却碰到了同一个核心问题：
当“智能”“能力”“生产力”不再是人类的独占优势之后，我们究竟依据什么，仍然认为人类应该掌握未来，并且某些东西必须为人类保留？
这已经不是一个单纯的“AI 安全问题”，而逐渐变成了一个人类如何重新定义自身价值的问题。
一、能力超过人类，不等于获得了取代人类的正当性
Pachocki 在《An Alien Mind》中有一个非常重要的前提：机器智能与人的智能并不是同一种东西，因此不能简单放在一条尺度上比较。AI 甚至无需在所有维度达到“完整的人类水平”，只需要在足够多的关键维度超过人类，就足以对现实世界产生巨大的影响。更关键的是，这种异质智能的形成过程不同于人类，因此我们没有理由假设它天然会继承人类的价值原则。
但到了文章结尾，他的论证突然从技术问题跨入了一个几乎是哲学乃至伦理学的问题：
在一个“绝大多数任务都可以由 AI 完成”的世界里，我们仍然必须保存 human agency，并确立“being human 本身具有内在价值”。
这是《An Alien Mind》里我认为最值得注意的一句话。因为这实际上承认了：
人类的价值不能再依赖“我比机器聪明”“我比机器能干”“我比机器生产效率高”。
否则一旦这些事实条件消失，人类价值的基础也就消失了。
而这恰好与另外两个人的思考发生了惊人的重合。
盖茨把它叫作 Human Reserved——有些工作不是机器“做不到”，恰恰可能是机器做得很好，但社会依然应该有意识地决定不让机器做。他的类比非常漂亮：就像自然保护区不是因为那里不能盖房子，而是因为我们判断“如果盖了，损失大于收益”。他举出的护理、教育、心理健康、告知绝症等场景，本质上都是这个逻辑。
良十四世则把这个问题推进得更彻底：人的尊严不来自生产效率，也不来自认知能力，而来自“人之所以为人”本身；工作也不仅仅是获得收入的手段，而是人的成熟、责任、关系、社会参与和自我实现的一部分。因此，一个技术极度发达、却让大量人陷入“被迫无所事事”的社会，在物质上可能进步，却可能出现他所谓的 anthropological regression——人类学意义上的退化。
所以三个人实际上都在反对一种非常深的隐含前提：
“能自动化 → 应该自动化。”
他们共同提出了另一条原则：
技术可行性，并不能自动产生伦理正当性。
二、“价值对齐”正是三者真正会合的地方
在 Pachocki 的论述中，有两个重要概念：
Goal alignment：AI 会不会按照我们给它的目标做事；
Value alignment：在没有明确指令、遇到陌生环境、价值冲突甚至无人监督时，它究竟依据什么原则行动。
Pachocki 甚至用了一个很不寻常的表达：理想的 AI 应该具有 honesty、integrity，以及 “love for humanity”。
这里就出现了一个非常有意思的三方交叉。
| 问题 | Pachocki | 比尔·盖茨 | 良十四世 |
|---|---|---|---|
| AI 最终应该服务什么 | 人类价值与人类长期利益 | 人类福祉、公平和社会稳定 | 人的尊严、共同善、爱与正义 |
| 谁决定最终目标 | 必须保持人在自我改进循环中 | 不能交给少数科技公司，应公共决策 | 必须来自人的良知、自由与道德责任 |
| AI 能力强是否足够 | 不够，还必须价值对齐 | 不够，还要判断社会后果 | 根本不够，技术不能成为最高判断标准 |
| 是否存在不可完全交给 AI 的领域 | 强调保留 human agency | 明确提出 Human Reserved | 明确强调人的不可替代性 |
但是这里又存在一个极其重要的分歧。
Pachocki 认为我们要尝试“teach machines to love”——让 AI 形成对人类的价值承诺；而良十四世会说得更加谨慎：AI 可以表现出关怀、模拟友谊甚至模拟爱，但这种行为与人类作为具身、自由、具有责任与关系经验的主体所经历的“爱”并不是同一个东西。
换句话说：
Pachocki 讨论的是“功能性的爱”——如何让 AI 表现得像一个真正关心人类的行动者；
良十四世讨论的是“本体论意义上的爱”——爱本身是不是一种可以被计算功能完全实现的东西。
这两个问题并不矛盾，却绝不能混为一谈。
我甚至认为，这是三篇材料放在一起之后最有思想张力的地方。
三、三者实际上都在反对“把人的命运交给优化函数”
三者还有一个共同的敌人，不过他们使用的语言完全不同。
Pachocki 担心的是 misalignment：一个越来越强大的系统拥有目标、推理能力和行动能力之后，其目标与人类真正想要的东西出现偏差。
盖茨担心的是经济优化逻辑：如果企业只追求成本和效率，那么“人比机器人贵”本身就足以推动大规模替代。甚至现有税制都会产生这种激励——雇人需要缴纳工资税，而购买机器人可以作为资本支出，因此他重新提出了机器人税，希望人为减缓这种替代速度。
良十四世则用了一句更加抽象的话：
当技术本身成为最终判断标准的时候，人就可能被降格为数据、机器中的齿轮或者商品。
因此他强调，AI 系统必须由人类的价值判断来约束，而不能让“效率、性能、利润、可计算性”成为最终目的。
把三个人的话翻译成同一种语言，其实都是：
不要把一个可优化指标误认为真正的目的。
这与 AI alignment 里面著名的 specification problem 本质上非常接近：
你让系统最大化 A，但 A 只是我们真正想要的 B 的代理指标。
生产效率不是社会福祉本身。
GDP 不是人的尊严本身。
用户参与度不是幸福本身。
考试成绩不是教育本身。
模型 benchmark 也不是智慧本身。
一旦优化器足够强，代理指标和真实价值之间哪怕很小的缝隙，都可能被无限放大。
这既可以发生在一个 AI Agent 身上，也可以发生在一个企业、一个市场甚至整个社会身上。
四、Human Agency——人必须仍然处于“因果链”之中
这三份材料里都反复出现一个概念，只是语言不同：
人不能仅仅成为 AI 决策的接受者。
Pachocki 非常直接地说，自动化 AI 研究真正的挑战并不是“能不能实现递归自我改进”，而是能不能在这个过程中继续让人类处于自我改进循环之内，并让未来仍然掌握在人类手中。
盖茨的 Human Reserved 其实也是 agency 的一种制度化表达：即使 AI 能够护理老人、教育孩子、提供心理咨询、宣布医学诊断，我们仍然可能规定必须有一个人在责任链条中。
而《Magnifica Humanitas》反复强调的责任、透明度、申诉、监督、人类判断，本质也是这一点：如果一个算法决定了你的就业、贷款、医疗机会或者公共服务资格，而最后所有人都说“这是算法算出来的”，那么发生的其实不仅是一个算法错误，而是：
责任主体消失了。
这就是为什么我越来越觉得，“human-in-the-loop”这个工程术语未来可能会变成一个非常严肃的政治哲学概念。
它不再只是：
人来审核 AI 结果。
而是：
什么样的决定必须存在一个能够承担责任的人类主体？
这是完全不同的层次。
五、真正危险的不只是“超级 AI”，也是“超级集中的权力”
Pachocki 在《An Alien Mind》最后非常明确地担忧：
如果过去需要数千名专家才能完成的事情，未来少数人操作一台大型计算机就可以完成，那么 AI 将造成一种前所未有的能力集中。
盖茨的文章也明确谈到相同问题：AI 不仅能够赋能弱势行动者，同时也会让本来已经掌握权力的人获得更强的监控、操纵舆论、军事和经济能力。因此他主张建立新的国家级、国际级 AI 治理体系，而且认为这种问题已经超出了任何单一监管部门的能力。
良十四世则从社会教义传统出发，把数字基础设施、数据和算法能力的集中视为新的权力集中形式：一旦这些能力掌握在极少数主体手中，又缺乏公共监督，就容易形成新的依赖、排斥、操纵和不平等。
所以三个人其实都已经不太相信：
“只要 AI 本身是善意的，问题就解决了。”
因为即使一个 AI 完全 aligned，掌握它的人也未必 aligned。
这是一个很重要的区分：
AI alignment ≠ power alignment。
甚至未来可能出现这样的情况：
AI 本身完全按照操作者意图运行，恰恰因为它高度 goal-aligned，反而让一个恶意或者极端的操作者拥有过去无法想象的力量。
所以技术安全最终一定会进入制度设计和权力约束。
六、甚至连“应该减速”这一点，三者也越来越接近
这也是我读《An Alien Mind》时觉得非常不同寻常的地方。
作为 OpenAI 的首席科学家，Pachocki 并不是一个外部 AI 批评者，但他明确说：目前没有任何实验室已经把 alignment 和 monitoring 解决到足以长期以最高速度继续 scale 的程度；他希望在达到共同安全标准以前，voluntary slowdowns 会越来越普遍，并要求国际协调。
盖茨同样主张，有些领域应该故意让 AI 的进入速度变慢，甚至用税收、Human Reserved 以及社会保障体系去人为降低“机器替代人”的速度。原因非常现实：技术变化的速度可能远远超过社会吸收变化的速度。
良十四世的语言则是：监管应该能够“regulate without stifling”，但面对人的尊严和重大社会风险，不能把创新速度本身当作不可质疑的目标。
三者因此共同否定了一种硅谷式的简单逻辑：
既然技术迟早会发生，那么越早做出来越好。
他们实际上都开始接受：
有时候“慢一点”本身就是一种治理能力。
三者最深的交集，其实还不是“AI 风险”
而是一个更根本的问题：
AI 正在迫使我们把“人的价值”与“人的能力”解绑。
工业时代之前，人有身体能力。
工业革命以后，机器超过了人的身体能力，于是我们越来越强调脑力劳动。
计算机时代以后，机器开始超过大量计算与记忆能力，于是我们强调创造力、判断力、情感和复杂知识工作。
现在 AI 开始侵入最后这些领域。
于是过去那个问题：
“人有什么是机器不会做的？”
正在越来越难回答。
盖茨提出的 Human Reserved，其实完成了一个非常重要的转向：
不再问“机器能不能做”，
而是问“我们愿不愿意让机器做”。
Pachocki 则走得更远：
即使未来 most tasks could be performed by AI，我们仍然必须赋予“being human”本身以内在价值。
而良十四世实际上从另一个方向直接给出了答案：
人的价值本来就不应该建立在生产力、认知能力或者经济贡献之上；一个人并不是因为“有用”才具有尊严。AI 只不过把这个原本很抽象的伦理命题，突然变成了一个非常现实的社会问题。
所以如果让我把三篇文章压缩成一句共同命题，我会写成：
真正需要与 AI 对齐的，也许不仅仅是 AI；在人类拥有越来越强大的智能工具以后，人类自己的经济制度、技术制度和价值体系，也必须重新与“人”对齐。
而且这里还有一个非常值得继续往下追的问题：如果未来 AI 真的在智慧、创造、科研、判断甚至“表现出来的同理心”上全面超过大多数人，那么 Human Reserved 到底应该依据什么划界？如果答案只是“因为我们偏爱自己的物种”，那其实很脆弱；盖茨、Pachocki 和良十四世分别给出的答案，正好代表了三种完全不同的论证路径——社会契约论、AI alignment、人类本体价值论。这三条路线之间能不能真正互相支撑，是比“AI 会不会抢走工作”深得多的问题。