超级智能来了以后，谁来治理它

当机器足够聪明以后人类能不能建立与这种智能相匹配的治理能力如果回头看2026年的人工智能发展会发现一个很有意思的变化。过去几年人们最关心的是模型。谁的模型更强谁的参数更多谁的推理能力更好谁先到AGI。但到了今年全球几个最重要的人工智能公司负责人开始越来越多地讨论另外一件事。如果超级智能真的来了我们准备怎样治理它8月10日马克·扎克伯格发表长文《The Future is for Everyone》。不久前Sam Altman连续谈到AI带来的自由、个人能动性和财富分配也开始更加明确地支持政府、独立机构参与前沿AI治理。Dario Amodei则在最近一次公开讨论中专门回应了监管、开放模型和权力集中的问题。三个人的答案并不一样。但不一样中却包含一个共同的变化。人工智能的问题正在从“机器还能变得多聪明”慢慢转向一个更加现实的问题当机器足够聪明以后人类准备建立一套什么样的治理机制。01扎克伯格的问题是从“谁拥有超级智能”开始的。在《The Future is for Everyone》中他提出了两个很直接的问题•第一谁能够获得超级智能•第二我们又准备让超级智能去做什么他的答案也很明确。超级智能不应该长期只掌握在少数公司、政府或者机构手中。它最终应该成为普通人的工具。所以Meta提出了“Personal Superintelligence”。每个人都可以拥有自己的智能助手。它可以帮助学习、工作、健康、创业、创造也可以帮助一个普通人获得过去只有大型机构或者专业团队才能获得的能力。这听上去像一个产品愿景。但如果继续往下读会发现扎克伯格真正想讨论的并不只是产品。他是在讨论一种治理方式。如果只有一个人拥有超级智能律师这个人在诉讼中会拥有巨大的优势。但如果双方都有同样强大的AI律师技术反而可能缩小资源和专业能力的差距。网络安全也是类似的问题。如果攻击者拥有强大的AI而防守者没有系统会更加危险。但如果防御能力也能够广泛获得AI又可能成为新的安全基础设施。所以在扎克伯格看来智能怎样分布本身就是治理的一部分。这也是Meta为什么一直强调开放模型。开放不仅仅是一种技术路线。它背后还有一个更加重要的问题不要让最先进的智能最终变成少数人的专属能力。02但扎克伯格并不是在说人工智能不需要监管。这一点很容易被误解。在这篇文章中他明确提出前沿模型需要独立治理和监督政府政策也是必要的。Meta甚至提出模型发布的安全标准不应该只由CEO或者研发团队自己决定。独立董事会应该参与批准安全标准并审查模型是否真正达到要求。这说明扎克伯格真正反对的并不是治理。他担心的是另一件事如果因为人工智能存在风险就把最先进的模型永久锁在极少数实验室和机构里那么这种治理方式本身也可能带来新的问题。换句话说过去我们经常问怎样防止AI失控扎克伯格又多问了一句怎样防止治理AI的人最终变成唯一能够控制AI的人这个问题很重要。因为超级智能一旦真的具有巨大的经济、科研和社会能力谁能够使用它谁能够决定它怎样发布本身就会影响整个社会的资源分配。03Dario Amodei最近在网络上的一段回应恰好从另一个方向回答了这个问题。有人把AI治理概括成一种二选一•要么通过监管把人工智能集中到少数公司和政府手中•要么尽量开放让能力广泛分布。Amodei认为这是一个错误的选择。他特别提到硅谷有一种很常见的判断•监管会导致监管俘获•监管俘获会保护既有大公司•最后监管反而导致权力集中。这种事情当然可能发生。但Amodei认为现实没有这么简单。好的制度也可以起到完全相反的作用。他用了法院作比喻。正式司法程序有时显得复杂、缓慢甚至有些精英化。但与“谁力量大谁说了算”的私力秩序相比一个公开、客观、有程序约束的法院反而更能够保护弱者。Amodei想说明的是制度不一定意味着集中。如果规则是公开的、客观的而且能够约束最强的参与者那么制度本身也可以成为一种制衡力量。这是一个很值得注意的观点。因为它意味着Meta和Anthropic真正的分歧并不是一个支持分散、一个支持集中。两家公司其实都在担心人工智能过度集中。它们真正不同的是靠什么办法防止集中。04扎克伯格更相信能力的分布。•让更多人获得AI。•让更多企业能够开发模型。•让开放生态继续存在。•让不同模型彼此竞争。Amodei则更相信制度的约束。尤其是对最强的人工智能公司要有更严格的规则。他最近反复强调一个观点不是所有AI企业都应该承担一样的责任。一家普通创业公司和一家正在训练全球最强模型的Frontier Lab产生的风险并不相同。因此治理责任也不应该相同。能力越强风险越高承担的责任就应该越大。这也是Anthropic为什么支持一些只针对大型前沿模型公司的监管方案。它们希望小公司、追赶者甚至开放权重模型能够得到更多空间而不是承担和最领先实验室完全一样的合规成本。这套逻辑很有意思。因为通常人们会认为监管会帮助大企业。但Amodei试图提出相反的制度设计让最强的人承担最多的责任。如果规则设计得好监管未必是在保护领先者。它也可能是在限制领先者。05Amodei还有一个更深的判断。他认为人工智能其实天然有一种走向集中的趋势。原因并不首先来自政府。而来自技术本身。训练更强的模型需要更多算力。更多算力需要更多芯片。更多芯片需要数据中心、电力和巨额资本。当模型越来越大真正有能力一直留在技术最前沿的企业自然不会很多。从这个角度看即使没有任何监管人工智能也不会自动变成一个完全分散的产业。开放权重当然有帮助。它可以让更多开发者和企业直接使用先进模型而不用自己重新训练。但Amodei认为这仍然没有解决一个根本问题。开放可以分散模型的使用。却未必能够分散最先进模型的生产。因为真正决定前沿能力的仍然是芯片、算力、能源和资本。所以他认为仅仅依靠“开放”还不够。还需要制度去约束那些已经拥有巨大能力的主体。06Sam Altman的位置则介于两者之间。过去几年Altman最重要的概念是Alignment。先让越来越强的人工智能能够按照人类真正希望的目标行动。然后不断扩大算力和能源供给让智能成本下降最终把这种能力普及出去。这也是OpenAI一直以来最清晰的一条逻辑。但最近Altman的表述也在发生变化。他开始越来越多地谈到三个东西自由、个人能动性和财富。也就是说AI的成功不能只是模型越来越强也不能只是几个AI公司越来越值钱。它最终必须让更多普通人获得真实的能力。•一个人能不能借助AI完成过去无法完成的工作•能不能创建一家过去没有能力创建的公司•能不能获得更好的教育、医疗和专业服务•能不能真正分享到AI带来的生产率增长。这些问题开始越来越多地进入Altman的公开表达。与此同时OpenAI也开始更加明确地提出最前沿人工智能的治理不能永远只由实验室自己决定。政府、独立审计机构和更广泛的公共制度都应该逐渐参与进来。所以今天再把Altman简单理解成一个“技术增长派”已经不够准确。他的思路正在逐渐变成一边继续扩大智能供给一边解决模型安全同时让能力和经济收益向社会扩散最后还要把最重要的治理问题交给更加公共的制度。07这样再回头看三个人会发现他们之间其实有很多共同点。他们都不希望超级智能永久集中在极少数主体手里。都认为人工智能应该扩大人的能力。都承认极高风险的AI能力需要治理。也都开始承认仅靠企业自己很难完成全部治理。真正的区别是他们最相信什么。扎克伯格最相信的是把能力分出去。Amodei最相信的是把规则建起来。Altman越来越强调的是把收益和治理参与扩展开。三个人讨论的已经不是简单的“监管还是不监管”。而是人工智能进入一个新的阶段以后个人、企业、政府、开放生态和公共制度之间应该形成什么样的关系。这比“开放还是封闭”的争论复杂得多。08Amodei最近还有一句话很值得记住。人工智能公司一直在告诉社会•AI会帮助治疗癌症。•AI会推动科学发现。•AI会带来巨大的生产率增长。•AI会让社会更加富裕。但是如果公众长期看不到这些变化只看到就业焦虑、算力扩张、能源消耗和AI公司的估值上涨再好的治理制度也很难自动获得信任。所以Amodei说与其不断告诉公众AI可以治疗癌症不如真正把癌症治好。这句话其实把人工智能治理又往前推了一步。过去人们讨论治理更多想到的是安全。模型不能失控。不能被用于制造重大伤害。企业必须承担责任。这些当然都重要。但最终社会还会问一个更加朴素的问题AI到底给普通人带来了什么治理不仅要证明一个技术没有失控。还需要证明这项技术值得社会接受。从这个意义上说人工智能治理不仅有程序问题。也有结果问题。09如果把三个人的上述思路放在一起也许可以看到一套正在逐渐成形的治理框架。•第一高风险能力要承担更高责任。不是所有模型一样监管也不是所有企业承担同样义务。•第二智能能力不能长期高度集中。开放模型、不同技术路线和个人AI仍然需要存在。•第三人工智能带来的生产率和财富增长最终要真正进入社会。如果收益长期只停留在少数公司和资本所有者手中技术再先进也很难获得稳定的社会支持。•第四也是最容易被忽略的一点治理者本身也需要被治理。AI公司不能因为最懂技术就天然拥有最终决定权。政府也不能因为承担公共安全责任就拥有无限边界。•监管规则必须透明。•高风险标准必须客观。•小企业必须有进入空间。•个人必须有选择。真正成熟的治理从来不是找一个最正确的人替所有人做决定。而是让不同主体在规则之下各自拥有边界也彼此受到约束。10这场讨论对中国同样有意义。当然没有必要简单选择Meta、Anthropic或者OpenAI中的任何一种方案。美国大型AI公司的治理讨论有它自己的产业环境、政治制度和国家竞争背景。中国的情况并不一样。但其中有几个变化值得注意。•首先人工智能监管正在越来越多地从“管行业”转向“管能力”。未来真正重要的可能不再只是判断一家企业是不是大模型企业。而是判断某一种能力究竟能够带来多大的风险。•第二开放和安全不应该再被理解成绝对对立。真正的问题不是“开还是不开”。而是什么能力可以开放开放到什么程度到了什么能力水平需要增加什么责任。•第三治理制度本身不能无意中变成新的技术壁垒。如果只有最大的公司才能承担复杂而昂贵的合规成本那么监管最终可能反而进一步加剧产业集中。所以一个成熟的制度应该做到高风险高责任。低风险低负担。约束领先者。同时给后来者留下追赶的空间。11对于知识产权行业来说这场讨论也并不遥远。•模型能不能开放。•模型权重能不能共享。•训练数据怎样使用。•AI能不能学习已经公开的信息。•一个模型能不能通过蒸馏学习另一个模型。•哪些内容属于合理使用哪些构成侵权。•企业应该如何在商业秘密和开放创新之间选择。这些表面上是版权、专利、数据、商业秘密和开源许可证的问题。但再往前走一步会发现它们其实共同决定着一件事情智能能力能够以多大的成本在多大的范围内被重新利用。如果知识产权保护过弱创新者没有动力投入。但如果权利边界设计得过于封闭后来者又很难学习、改进和创新。所以人工智能时代的知识产权制度也正在面对一个新的平衡。过去更多是问怎样保护创新。以后可能还要不断追问怎样在保护创新的同时不让制度本身阻断下一轮创新。从这个意义上说知识产权并不是人工智能治理之外的一套规则。它本身就是人工智能治理的一部分。12过去几年全球人工智能竞争最引人注意的是模型。•谁的算力更多。•谁的模型更强。•谁的Agent更聪明。•谁的数据中心建得更快。•这些竞争当然还会继续。但2026年以后另一种竞争正在变得越来越重要。一个国家、一家公司或者一个技术生态能不能•既让人工智能继续快速发展又控制真正重大的风险•既防止能力过度集中又不因为监管把后来者挡在门外•既让企业获得回报又让普通社会成员真正分享技术进步。这已经不只是技术能力。也是治理能力。回头再看扎克伯格、Amodei和Altman最近的这些争论真正值得注意的地方也许就在这里。他们讨论的已经不只是谁能最先造出超级智能。而是在回答一个更重要的问题当超级智能真的到来以后我们准备建立一套什么样的规则让它既足够强大又不至于只属于少数人既能够继续创新又能够受到约束既创造财富也让社会真正从中受益。如果过去十年人工智能最重要的问题是机器究竟能够变得多聪明。那么接下来的问题可能会更加困难。当机器足够聪明以后人类能不能建立与这种智能相匹配的治理能力原文链接超级智能来了以后谁来治理它-36氪