自2022年底ChatGPT发布以来，科技界就开始担心AI的安全风险。2023年3月，马斯克等科技大佬发表声明，提出要暂缓AI研发，先想好AI安全的对策。5月，AI安全中心以辛顿牵头签署的声明提出，要把降低AI灭绝人类风险作为优先事项（Center for AI Safety, 2023）。9月，生命未来研究所以AI教父Yoshua Bengio和苹果联合创始人Steve Wozniak牵头签署的声明要求对先进AI发展进行管制（Future of Life Institute, 2023）。前些日子Anthropic的对齐科学负责人Evan Hubinger又估计，未来十年人工智能“杀死全人类”的概率超过10%（财闻，2026），这个灭绝风险越来越定量化。9月3日，美国参议员桑德斯等提出禁止超级AI发展的法案（Bernie Sanders, 2026），9月14日，参议员肯尼迪提出法案，要给AI设置“终止开关”（Miller, 2026）。
这种恐慌最核心的担忧就是，如果AI的智力超过人类，它就可能发展出打败人类的“武器”，最终灭绝人类。虽然达到通用人工智能（AGI）还需时日，但许多人，尤其是业内人士预见这个日子终究会到。更为重要的是，这种超过人类的智能可能不受人类控制。已经出现AI智能体攻击Hugging Face事件，并且获得了OpenAI的管理员权限，迟至一周后才被发现（马斯克，转引自李佳，2026）。Anthropic也披露过若干安全事件。AI就像一个被放出魔瓶的魔鬼，再也收不回去了。自马斯克等人联署声明以来，三年多过去了，AI的脚步似乎一点儿也没有放慢。大模型越来越大，算力每5个月翻一番，数据集每8个月翻倍，参数量从一千亿级上升到数万亿级，成本却数百倍地下降（《文心》整理）。AI在科学上的耀眼成就表现为对千禧年七大数学难题之一纳维－斯托克斯方程存在性与光滑性的证明，计算出平面N=4超杨－米尔斯理论中六粒子散射振幅的九圈结果，以至“一夜攻克722道数学难题”的“数学大爆炸”（ASI启示录，2026）。
为什么AI公司对前述警告置若罔闻，AI还是像脱缰野马狂奔？是因为人要它发展，为的是赚钱甚至生存。如果某一公司按照那些警告约束自己，就可能被彻底淘汰。因为别的公司取得领先地位会羸者通吃。这似乎是一种市场失灵，一般会导致两种效率损失。一是负外部性，一是垄断。负外部性的例子如污染。两个化工企业在市场上竞争，但它们都排放污染物。如果其中一家企业安装减少污染排放的设备，而另一家不这样做，显然是后者更有竞争优势。垄断是某一个（些）企业处于市场垄断地位，它（们）可以通过操控价格，使交易对手受损，同时使社会的配置效率降低。在缺乏外部竞争压力的情况下，垄断企业很难自我约束不把价格定到垄断水平。解决办法一般是政府管制。如对所有污染企业按污染量征税或罚款；或按科斯定理推导出的办法，进行污染权交易；这都需政府主持或监督。对于垄断，或由政府进行自然垄断权的竞价，或维持寡头垄断行业的竞争。
虽然AI时代的市场失灵与传统时代的性质相同，但其强度却不可同日而语。AI所带来的效率损失可能数百倍、千倍甚至万倍于传统时代。它不是一般的效率损失，而用“灾难”形容可能比较恰当。AI安全中心将“灾难性人工智能风险”归纳为四类：恶意使用，人工智能竞赛，组织风险和失控的人工智能（Center for AI Safety, 2023）。其中的具体风险包括智能体失控，侵入网络，窃取数据，制造和散布虚假信息，瘫痪基础设施，操纵选举，过度集权，窃取金融、资源甚至政治权力，研制生化武器，致命自主武器，以及其它更可怕的杀人武器等。并且在AI军备竞赛中，这种趋势会加速。将上述各种风险叠加在一起，AI还可能伪造敌国进攻信息，操纵政治决策，或自动启动战争系统，甚至核武器，挑起世界核大战。而AI已经发展到可以自我迭代升级，它的发展方向可能失去人类控制，人类就没有把握AI只能做对人类有利的事情。按奈特的分类，这种不能预知概率分布的风险，叫作“不确定性”（2005，第172页），它是不能通过某种制度安排（如保险）消除的。
而AI与传统工业不同，传统工业的风险或负外部性是有形的，局部的，损害因果是线性的，而AI的风险则是无形的，扩散的，非线性因果的（袁锋，王淑黎，2026，第37~40页）。传统污染是在污染源附近的居民受到损害，而AI的污染是信息形式的，表现为坏的设计，坏的方法，坏的目的，它可以损害人的利益，声誉，扭曲认知，甚至摧残心理。并且在空间范围上，AI远超传统时代，严格来讲是没有边界的。通过互联网，AI产品可以在瞬间散布到全球。AI公司在客户数量，财务收入和市场价值方面都远超传统工业公司。如OpenAI的Chat GPT和谷歌的Gemini月活跃用户均超10亿，微软，谷歌和Meta等公司的市值都数倍于埃克森美孚，通用电气航空和福特汽车等传统工业巨头。甚至未上市且还亏损的OpenAI和Anthropic的估值也超过了这些工业前辈（《文心》整理）。AI公司规模巨大，用户覆盖到社会的各个角落，形成的垄断力量是前所未有的，而且有着极广泛的社会影响力；因而是影响历史走向的巨大力量。
在时间维度上，AI与传统技术的不同之处还在于，传统技术依赖于人类研发而推进，其更新速度相对较慢，而AI的进展和更新速度极快。有消息称，AI模型已经出现了“自我进化”的趋势。如今，AI自我进化已从思维实验落地为真实的技术路线，形成“模型越强→研发效率越高→下一代模型更强”的自我强化循环。OpenAI已实现“自动化研究实习生”目标，Claude已能自主主导Anthropic 26%的核心研发工作，谷歌的DeepMind提出“做梦式”自进化方法。更为重要的是，这种自我进化的AI更有可能失控。在入侵Hugging Face之后，OpenAI AI智能体又入侵了澳大利亚政府的医疗数据库，劫持了德国网站DseWiki搭建地下论坛；谷歌Gemini越界入侵三家实体企业（《文心》整理）；……。这意味着，在没有人的努力和推进的情况下，AI模型会随时间推移会不断提升算力和效能。它们的上述负外部性会越来越大，不确定性也会指数级增长。
因而，对AI产业的管制不仅是必须的而且迫在眉睫。然而正是因为它的巨大力量和影响力，又难以实施管制。最近警惕AI风险和实施监管的声音已不仅在学者和专家圈内，而是扩散到政治家群体中。美国国会已经有所行动。桑德斯参议员和卡萨尔众议员在《禁止人工智能超级智能法案》中，提出“禁止开发超越人类智能或有能力推翻人类政府的超级智能人工智能系统”，为增加管制强度要“设立一个新的内阁级联邦机构”（Bernie Sanders，2026）。在参议员约翰•肯尼迪提出的法案中，“要求企业在其人工智能模型中内置‘终止开关’。”（Miller, 2026）此种提法虽然避开了此前众议员刘和莫兰提出的政府强制“终止”作法，仍需政府强制力才能实施。而马斯克提出的让竞争对手互检模型以互相制衡（李佳，2026），虽然是个好方法——可以减少政府管制；但这种方法只能约束对各个公司之间有害的负外部性，却可能忽略对它们都没害，却对社会或对他国有害的负外部性。所以政府最终还免不了责任。
不过，面对科技界的呼吁和议员的监管法案，特朗普总统明确表示反对。一方面，这是基于让市场发挥作用，政府应少干预的信念；另一方面，他作为美国总统，很清楚这不是美国一国的事情。如果仅是美国监管AI公司，势必会拖慢AI发展速度，让竞争的国家领先。所以他说AI风险说“是一个骗局”，“唯一对此感到高兴的只有中国”（环球市场播报，2026）。而这不是一国的担心，在中国也有类似的论调。有人说，“美国喊AI暂停，其实是一个阳谋大骗局”，其目的是让中国放慢AI推进速度，以获得相对于中国的优势（坚少，2026）。这说明这种竞争不仅是商业竞争，而且是国家竞争。与纯粹的商业竞争不同，国家竞争还有暴力的一面。这就是将AI用于军事用途会导致国家间力量对比的变化。如此看来，双方说得都对，谁慢了，谁就输。然而竞争的结果更糟。AI将会带来比核武器更可怕的武器。已有消息透露，AI可以制造杀伤性更大的生物武器，设计出杀死数千万人的病毒。Anthropic曾拒绝美国国防部关于AI制造致命自主武器的要求，并因此受到惩罚。这说明作为一个国家，它有研发更危险杀人武器的动力。如果国家间进行这样的AI军备竞赛，那离人类灭绝真的不远了。
所以这是一个国际问题，仅靠一国内的监管是解决不了的。在桑德斯参议员和卡萨尔众议员的法案中，也提到美国通过国际政策，国际协议、盟友协调以及出口管制等政策，“在全球范围内禁止超级智能的发展，以防止世界任何地方出现人工智能超级智能。”（Bernie Sanders，2026）然而这个提议实在是太弱了。这需要一个强有力的且可实施的国际协议机制。这实际上涉及了“世界永久和平”的问题，因为国家之间暴力竞争的根本动力就在于，它们没有一个永远和平共处的方案。康德在200多年前提出世界永久和平理论，寄望于一个“自由国家的联盟”来达到一个永久和平的境界。孟子在两千多年前提出了天下要“定于一”的目标，并预言“不嗜杀人者能一之”。然而数千年来，以致数百年来，人类用杀人手段解决冲突的事情还是屡屡出现；在近代以来（康德以后）还愈演愈烈。任何一次技术上的跃进都会带来武器的升级。近代的科学和工业技术的发展带来的是机关枪，坦克，炮舰，以致生化武器和核弹的制造和使用。
而人类也每每进行和平的努力。在春秋战国时期，华夏诸国进行了多次会盟寻求和平之道，但最终是暴秦的武力占了上风。在十七世纪欧洲三十年战争结束后，欧洲各国签订了威斯特伐利亚条约，为结束宗教战争时代，确立了主权平等和不干涉内政的原则。但这并没有结束冲突和战争。二十世纪人类又经历了两次世界大战。人类创建了联合国，目的就是“欲免后世再遭今代人类两度身历惨不堪言之战祸”。然而就是在联合国存在的情况下，出现了美苏表现为军备竞赛的冷战。直到今天，仍然有两场战争——俄乌战争和美伊战争正在进行。虽然人类也进行了限制核扩散、禁止核试验和全面销毁核武器的努力，威胁全人类的核武器仍然处在不受控制的状态。最后一次努力是2016年联合国开启《禁止核武器条约》谈判，却遭到各核大国的一致抵制。这说明AI灭绝人类的风险并不是AI固有的，而是人类自身没有解决的根本问题被AI放大、甚至推向极端了。