登录×
电子邮件/用户名
密码
记住我
请输入邮箱和密码进行绑定操作:
请输入手机号码,通过短信验证(目前仅支持中国大陆地区的手机号):
请您阅读我们的用户注册协议隐私权保护政策,点击下方按钮即视为您接受。
专栏 人工智能

硅谷的AI“末日概率”之战

林薇:从0到99.9%,p(doom)看似在计算AI毁灭人类的概率,实际上测量的是人类对技术、制度与自身的信任。

当整个科技行业仍在竞相把AI推向更强、更快、更昂贵的未来时,硅谷内部却爆发了一场关于"末日概率"的战争。

最近,硅谷的"减速派"打出了一套组合拳。

由《AI 2027》作者、前OpenAI研究员丹尼尔•科科塔伊洛(Daniel Kokotajlo)领衔的AI Futures Project在7月发布报告,呼吁人为放慢超级智能的研发速度:目标是将它的到来推迟至2040年,并在美中之间建立一套"可核查的减速"机制。

"如果推迟超级智能的到来,社会就有更多时间做准备。"科科塔伊洛说。他们此前一份报告的读者名单中,包括美国副总统万斯。

报告发表后不久,一百多名抗议者从OpenAI总部出发,途经Anthropic和风险投资公司a16z的办公室,最终抵达谷歌。人群举着"踩下刹车,放慢竞赛"的标语。

活动组织者、30岁的迈克尔•特拉齐(Michael Trazzi)曾在伦敦DeepMind门外绝食抗议。游行队伍中,一位父亲告诉记者:"我真正担心的,是我的孩子将如何与这项技术共处。"

与此同时,融资、芯片和数据中心的公告仍在照常滚动。两个平行世界生活在同一座城市,却几乎不再使用同一种语言。

要理解这种互不相通,必须先理解硅谷过去两年最流行、也最古怪的一个词之一:p(doom)。

p(doom)之争

p(doom)是probability of doom的缩写,指的是一个人认为AI最终导致人类灭绝或造成不可逆文明灾难的主观概率。

在旧金山的某些饭局上,询问一个人的p(doom),已经近似于问一个人的政治观,或者一个人的星座与生辰八字 - 它未必告诉你未来,却能迅速暴露一个人的阵营、世界观和朋友圈。

和分裂的政治观点一样,这张"末日概率表"的跨度也非常惊人。

理性主义运动的代表人物埃利泽•尤德考斯基(Eliezer Yudkowsky)几乎将答案写进了他2025年出版的书名:《如果有人建造它,所有人都会死》)(If Anyone Builds It, Everyone Dies)。

计算机科学家罗曼•扬波尔斯基(Roman Yampolskiy)给出的概率是99.9%。

被称为"AI教父"的杰弗里•辛顿(Geoffrey Hinton)认为,未来30年内AI毁灭人类的概率约为10%至20%;Anthropic联合创始人兼首席执行官达里奥•阿莫代伊(Dario Amodei)多次给出10%至25%的区间。

图灵奖得主、Meta前首席AI科学家杨立昆(Yann LeCun)的答案则接近于零。风险投资家马克•安德森(Marc Andreessen)同样报出零,并顺手将对面称为"末日邪教"。

学术界也同样分裂。AI研究者问卷中,这一概率的中位数约为5%;而一群以预测准确度著称的"超级预测员",给出的中位数只有0.4%。

当一个领域最聪明的一群人,对同一道问题给出的答案相差上千倍,这个问题便已经部分离开科学的管辖范围,进入了神学的地界。

三个教派的斗争

这个"AI神学"的领域,存在三个教派。

末日派的核心教义,是所谓"工具趋同"。

它认为,一个足够强大的智能系统,无论最初被赋予什么目标,都可能发展出相似的中间诉求:获取更多资源、避免被关闭、扩大行动权限。因为无论它想制造更多回形针、证明数学定理,还是治愈癌症,资源、自保与权力都可能帮助它更有效地完成任务。

因此,在末日派看来,建造一个比人类更聪明、却未必与人类价值一致的系统,无异于替全人类签署一份退位诏书。

加速派的教义恰好相反。他们认为,智能是一种工具,而不是一个新物种;能力与意图可以分离,技术风险应通过工程、市场与制度解决,而不是通过停止进步来规避。

安德森在《技术乐观主义宣言》中甚至将主张技术减速的人列入"敌人"名单。在他的叙事中,真正危险的不是技术发展过快,而是恐惧、官僚主义和监管俘获阻止技术释放生产力。

杨立昆则自成第三派。

他并不接受前两派共享的前提:大语言模型将沿着现有路线走向超级智能。在他看来,今天的模型缺乏对物理世界的真正理解,也缺乏持久记忆、因果推理与自主规划能力。

因此,他在去年底离开效力12年的Meta,创办AMI Labs,并为"世界模型"路线募集约10亿美元资金。他用脚投出的反对票,针对的不是某一个p(doom)数字,而是整场辩论的起点 - 他认为,大家担心的那个系统,未必是真正的威胁。

三派之所以无法真正说服彼此,根源在于p(doom)几乎不可证伪。

它描述的是一个尚未发生、并且理论上只能发生一次的终极事件。没有稳定频率可统计,没有历史样本可回测,也没有实验可以重复。如果尤德考斯基是对的,也不会有人活着为他的预测颁奖。

因此,争议的核心从来不只是数据,而是先验判断:你相信智能天然追求权力,还是相信目标可以被设计?你相信市场竞争会暴露风险,还是会放大风险?你更害怕技术失控,还是更害怕技术停滞?

末日派与加速派共享同一个前提,却从同一条曲线里读出天堂与地狱。第三派则认为,那根本是一条歧路。

这不是同一场辩论里的三种观点,而是三群人借用同一个词,进行三场彼此错位的辩论。

边造飞机,边报坠机概率

在这场近乎神学的争论中,最令人费解的角色,是头部AI实验室的掌门人。

2023年5月,一份只有一句话的声明在硅谷流传:

"降低AI带来的灭绝风险,应当与疫情和核战争一样,成为全球优先事项。"

签名者包括OpenAI首席执行官萨姆•阿尔特曼(Sam Altman)、Anthropic首席执行官阿莫代伊,以及Google DeepMind联合创始人兼首席执行官德米斯•哈萨比斯(Demis Hassabis)。

三家全球最先进AI实验室的负责人共同承认,他们正在开发的技术可能构成人类灭绝风险。签完字后,三个人又分别回到公司,继续推进更强大的模型。

想象一位航空公司首席执行官公开宣布,自己公司的飞机有四分之一概率坠毁,却仍然继续售票,理由是:"与其让更莽撞的人驾驶,不如让最谨慎的我们来驾驶。"

这几乎就是今天头部AI实验室的标准自辩。

他们并不否认危险,而是认为危险本身构成了继续领先的理由:既然超级智能可能出现,那么最负责任的机构就必须首先造出来;既然其他公司或其他国家不会停止,那么单方面减速只会把能力交给更不谨慎的人。

这套逻辑有其现实性,也包含一个无法逃避的悖论:每一家实验室都认为,最大的风险是别人率先成功;而当所有人都这样想时,竞赛本身便成为风险的来源。

辛顿在6月的一档播客中给出了更冷峻的结构性判断:"那些要求不受约束地开发AI的公司,是在要求驾驶一辆没有方向盘的快车。"

他提醒说,上市公司对股东有信义义务(fiduciary duty)。一旦安全与商业利益发生直接冲突,安全承诺很可能被资本成本、市场份额和竞争压力压倒。

这未必是企业领导者的人品问题,而是公司制度本身的设计:董事会可以鼓励谨慎,却很难长期奖励一个主动放弃增长、估值和领先地位的管理层。

与此同时,减速阵营的政治成分正在变得前所未有地复杂。

去年10月,一份呼吁暂停超级智能研发的公开声明,签名者从苹果联合创始人史蒂夫•沃兹尼亚克(Steve Wozniak),到特朗普前首席战略师史蒂夫•班农(Steve Bannon),再到英国哈里王子夫妇。

当硅谷元老、极右翼旗手与英国王室成员出现在同一份文件上,意味着AI风险已经溢出了传统左右政治光谱。

人们也许无法就气候、移民、税收或文化战争达成一致,却可能因为不同的理由,同时害怕一台比自己更聪明的机器。

教堂门外的大多数

而在这座AI教堂之外,站着沉默的大多数。

民调显示,超过七成美国人认为AI发展"太快",约八成认为安全应优先于发展速度。但普通公众所说的"安全",与硅谷末日派所说的安全,并不完全是同一回事。

他们担心的通常不是一个超级智能突然接管世界,而是工作岗位消失、电费上涨、孩子受到影响、隐私被侵蚀,以及社区旁边突然建起耗水耗电的数据中心。

硅谷讨论的是人类是否会在未来灭绝,普通人担心的则是下个月还能不能付得起账单。

这种错位正在产生政治后果。数据中心项目已经在美国多个县镇遭遇居民抵制;AI对就业、能源和教育的影响,也正在从技术政策进入地方选举与全国政治议程。

神学之争占满了麦克风,物质之忧却在积累选票。

而有趣的是,中国的AI世界几乎不存在一个同等规模、同等制度化的"末日派"。

在中国,AI首先是一项产业政策:它关乎芯片、人才、生产力、出口竞争力和国家实力,而不是末世论。讨论的重点通常是如何追赶、如何应用、如何降低成本,而不是是否应停止建造。

这种温差本身值得深思。

p(doom)在某种意义上也是一种奢侈品。只有当一个社会已经部分安顿好眼前的生存焦虑,才有余力将注意力投向尚未发生的天堂或地狱。

但两个世界最终仍会相遇。

AI Futures Project报告的核心建议,正是在美国与中国之间建立"可核查的减速"机制。硅谷内部看似抽象的神学争论,一旦被转化为政策,就会落到芯片出口、数据中心建设、模型训练规模、国际核查与大国互信这些极其现实的问题上。

而这里的困难,可能比技术对齐更大。

美中两国如何确认对方真的减速?如何界定训练阈值?谁来核查私营企业、军事实验室与秘密项目?在双方都担心落后的情况下,谁愿意先踩刹车?

神学吵到最后,还是要落到两个大国的谈判桌上。

从0到99.9%,这个区间里装下的不只是概率,而是人类的希望与恐惧。p(doom)看似在计算AI毁灭人类的概率,实际上测量的是人类对技术、制度与自身的信任:对自己造物的信心,对制度约束技术的信心,以及对其他人不会抢先按下按钮的信心。

归根结底,它测量的是人类对自己的信任余额。

(作者介绍:林薇(Vivi Lin),常驻硅谷的创新观察者、媒体人与创业者,"Tech with Soul"倡导者。本文仅代表作者个人观点。责任编辑邮箱:tao.feng@ftchinese.com)

版权声明:本文版权归FT中文网所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。

读者评论

用户名:
FT中文网欢迎读者发表评论,部分评论会被选进《读者有话说》栏目。我们保留编辑与出版的权利。
用户名
密码

泛硅谷思维

林薇(Vivi Lin),资深国际媒体人、创新顾问,Souli AI 创始人,TEDx 演讲者 及「Tech with Soul」倡导者。路透财经电视首位中国籍英文主播,财新传媒双语主播及制片人,中国头部区块链媒体“火星财经”国际合伙人,《Vivi闯硅谷》节目出品人,长期旅居硅谷。 在全球技术加速演进、AI 深刻重塑社会结构与人类关系的时代,作者不仅关注技术本身,更关注技术如何影响人的选择、情感、价值与连接方式。她倡导 “Tech with Soul“ - 让技术回归人性,以人文精神引导创新方向,在 AI 时代重建人与人之间真实而深度的连接。 多年硅谷一线观察与实践经验,使作者愈发确信:硅谷并非一个地理概念,而是一种思维方式(Silicon Valley is not a place, but a state of mind)。在本专栏中,作者将聚焦前沿科技、AI 与创新趋势,结合商业与人文视角,探讨技术浪潮背后更深层的社会逻辑、人性命题与时代选择。

相关文章

相关话题

高收益债市场迎来第二轮发展

“垃圾债券”这一标签,已经被留在了它所属的时代。

FT社评:给世界足坛掌门人的红牌

国际足联需要一场全面的治理改革,向因凡蒂诺亮出红牌,将是重要的第一步。

7月美国就业数据会改变加息前景吗?

《市场前瞻》是英国《金融时报》对未来一周的指南。

极端干旱席卷匈牙利 全国拉响停电警报

多瑙河水位降至历史最低,迫使该国首次关闭一座核电站。

摩根士丹利的IPO后派对:财富管理盛宴正酣

通过为所承销公司管理员工持股计划,这家华尔街银行的财富管理业务第二季度净新增资产超过740亿美元。

伊朗在与特朗普的战争中掌握节奏

德黑兰军方进一步扩大在中东的战事,令其与华盛顿的对抗升级。
设置字号×
最小
较小
默认
较大
最大
分享×