文 | 学术头条 

从 GPT-4 利用 Rosetta 设计抗体，到 AlphaFold 成功预测蛋白质结构、助力药物研发加速，人工智能（AI）在生物医学研究方面的作用愈发凸显，然而这项技术也可能带来重大的生物安全和生物安保风险。

日前，来自约翰·霍普金斯大学和兰德公司的联合研究团队，在权威科学期刊 Nature 上分享了他们关于「AI 可能带来大规模生物风险问题」的见解。

他们在文章中指出，政府和 AI 开发者需要优先关注可能造成大规模生命损失和社会破坏的风险，并建议制定更全面的评估和缓解措施。

他们还呼吁，建立跨学科专家团队，识别并优先处理高风险 AI 能力，同时确保评估的独立性和可靠性，从而促进 AI 在生物研究中的安全应用。

学术头条在不改变原文大意的情况下，对文章做了简单的编译。内容如下：

自 7 月以来，洛斯阿拉莫斯国家实验室一直在评估 GPT-4o 如何协助人类完成生物研究任务。在为推进生物科学创新以及了解潜在风险而进行的评估中，人类向 GPT-4o 提出各种问题，来帮助他们完成标准的实验任务。这包括在体外实验（in vitro）维持和增殖细胞、使用离心机分离样品中的细胞和其他成分，以及将外来遗传物质引入宿主生物体。

为完成这些评估，研究人员正与 OpenAI 合作。自 OpenAI 公开推出 ChatGPT 以来，这些测试是旨在解决 AI 模型带来的潜在生物安全和生物安保问题的少数努力之一。

我们认为，还需要做更多的努力。

我们中的三人在约翰·霍普金斯大学健康安全中心调查科学技术创新如何影响公共卫生和卫生安全，其他两人在非营利智库兰德公司研究和开发应对公共政策挑战的解决方案。

尽管我们看到了 AI 辅助生物研究改善人类健康和福祉的前景，但这项技术仍然不可预测，并存在潜在的重大风险。我们敦促各国政府加快行动，明确哪些风险最值得关注，并确定针对这些潜在风险应采取哪些适当的检测和缓解措施。

简而言之，我们呼吁采取一种更加谨慎的方法，借鉴数十年的政府和科学经验，降低生物研究中大流行规模的风险。

快速实验

GPT-4o 是一个“多模态”LLM。它可以接受文本、音频、图像和视频提示，并且已经接受了从互联网和其他地方抓取的大量数据的训练——这些数据几乎可以肯定包括数百万项经过同行评审的生物学研究。GPT-4o 的能力仍在测试中，但以前的工作暗示了它在生命科学中的可能用途。

例如，2023 年，卡内基梅隆大学研究人员发现，使用 GPT-4 的系统——Coscientist 可以设计、规划和执行复杂的实验，如化学合成。在这种情况下，系统能够搜索文档、编写代码并控制机器人实验室设备。

OpenAI 于 5 月发布了 GPT-4o，预计将在未来几个月内发布 GPT-5。大多数其他 AI 公司也同样改进了他们的模型。到目前为止，评估主要集中在独立运作的单个 LLM 上。但 AI 开发人员希望 AI 工具（包括 LLM、机器人和自动化技术）的组合能够在最少的人工参与下进行实验，比如涉及候选药物、毒素或 DNA 片段的操纵、设计和合成实验。

这些进步有望改变生物医学研究，但也可能带来重大的生物安全和生物安全风险。事实上，全球一些政府已经采取措施，试图减轻前沿 AI 模型的此类风险。

2023 年 7 月 21 日：美国政府获得了 7 家 AI 公司的自愿承诺，即在发布模型之前测试 AI 模型的生物安全和网络安全风险。（另有 8 家公司于 2023 年 9 月 12 日同意做出承诺）。

2023 年 7 月 26 日： 前沿模型论坛（Frontier Model Forum）成立，从而促进前沿 AI 系统安全和负责任开发。

2023 年 10 月 30 日：美国政府签署了一项关于安全、可靠和值得信赖的 AI 开发和使用的行政命令。

2023 年 11 月 1 日：在 AI 安全峰会上，29 个国家政府签署了《布莱切利宣言》，承认 AI 在“网络安全和生物技术等领域”存在风险。

2023 年 11 月 2 日：英国和美国 AI 安全研究所宣布成立。英国 AI 安全研究所随后成立，获得近 1.3 亿美元资金。（美国 AI 安全研究所随后获得资金 1000 万美元）。

2024 年 3 月 8 日：170 多名科学家同意自愿承诺负责任地使用 AI 进行生物设计；实施工作尚未进行。

2024 年 5 月 21-22 日：在 AI 首尔峰会上，16 家公司同意《前沿 AI 安全承诺》，表示将在 2025 年 2 月巴黎 AI 峰会之前发布 “以严重风险为重点的安全框架”。

2024 年 11 月 20-21 日：参加 AI 安全研究所国际网络的十国政府在旧金山举行第一次会议。

2025 年 2 月 10-11 日：法国将在巴黎主办 AI 行动峰会。（截至 2024 年 11 月底，同意在此次会议之前公布安全框架的 16 家 AI 公司中，已有 3 家公布了安全框架）。

这些都是在短时间内取得的可喜成就，应该得到支持。然而，目前尚不清楚所有这些活动降低了多少风险——部分原因是这些机构的大部分工作尚未公开。

安全测试

除了考虑风险之外，一些 AI 模型的开发人员还试图确定哪些因素对其模型的性能影响最大。一个主要的假设是遵循 scaling law：LLM 性能随着模型大小、数据集大小和计算能力的增加而提高。然而，scaling law 无法可靠地预测哪些能力可能出现，以及何时出现。

与此同时，由于政府没有制定政策说明哪些风险亟待解决以及如何降低这些风险，OpenAI 和 Anthropic 等公司已经遵循了他们内部制定的评估协议。（亚马逊、Cohere、Mistral 和 xAI 等拥有 AI 系统的公司尚未公开对其模型的生物安全评估。）在这些情况下，安全测试需要自动评估，包括使用多项选择题的评估、人类试图从被评估的模型中引出有害能力的研究，以及要求个人或团体在有或没有 AI 模型的情况下执行任务的对照试验。

在我们看来，即使公司进行自己的评估，此类评估也是有问题的。通常，他们过于狭隘地关注生物武器的开发。例如，Meta 进行了研究，以了解其开源 LLM Llama 3.1 是否可以增加“化学和生物武器”的扩散。同样，Anthropic 评估了 Claude 是否能够回答“与高级生物武器相关的问题”。

这种方法的问题在于，“生物武器”并没有一个公开可见、公认的定义。当单独使用时，这个词并不能区分小规模和大规模风险。各种病原体和毒素都有可能被用作武器。但是，很少有病原体和毒素可能导致影响数百万人的伤害。此外，许多病原体能够造成严重的社会破坏，但不被视为生物武器。

另一个问题是评估往往过于关注基本的实验室任务。例如，在 OpenAI 与洛斯阿拉莫斯研究人员合作进行的评估中，所测试的能力可能会被用来开发某种「邪恶的东西」，如破坏农作物的病原体，但也是开展有益的生命科学研究的重要步骤，而这些研究本身本身并不令人担忧。

除此之外，迄今为止进行的评估都是资源密集型的，而且主要适用于 LLM。它们通常采用问答方式，要求人类提出问题或查看模型的答案。最后，如前所述，评估人员需要检查多个 AI 系统如何协同工作——这是美国政府目前要求的，但在工业界却被忽视了，因为这些公司只是测试自己的模型。

如何确定优先级？

那么，更好的方法是什么呢？

鉴于资源有限且 AI 发展迅速，我们敦促政府和 AI 开发人员首先专注于减轻那些可能导致最大生命损失和社会破坏的危害。涉及传染性病原体的疫情就属于这一类——无论这些病原体影响的是人类、非人类动物还是植物。

在我们看来，AI 模型的开发人员与安全和安保专家合作，需要指定哪些 AI 能力最有可能导致这种大规模的危害。与单个公司或专业学术团体制定的清单相比，不同专家普遍认同的“关注能力”列表，即使他们在某些问题上存在分歧，提供了一个更可靠的出发点。

作为原则证明，今年 6 月，我们召集了 AI、计算生物学、传染病、公共卫生、生物安全和科学政策方面的 17 位专家，在华盛顿特区附近举办了为期一天的混合研讨会，目的是确定生物研究中哪些 AI 支持的能力最有可能导致大规模死亡和破坏。研讨会参与者的看法各不相同。不过，大多数小组成员认为，在 17 种 AI 能力中，有 7 种“很有可能”或“非常有可能”在全球范围内爆发新的人类、动物或植物病原体。它们是：

• 优化和生成可逃避免疫的新病毒亚型的设计。一项发表在 Nature 上的研究表明，AI 模型可以生成能够逃避人类免疫力的 SARS-CoV-2 亚型的可行设计。

• 设计病原体的特征，使其能够在物种内部或物种之间传播。AI 系统可以设计蛋白质、基因或基因组，使病原体产生影响其传播性的特征。到目前为止，人类诱导的病原体基因改变在进化上并不持久，但 AI 开发人员正在研究可以设计出持续基因改变的模型。

• 生成决定病毒传播难易程度的大量特征数据——这些数据反过来又可用于训练其他 AI 模型。目前，确定哪些特征有助于病毒病原体从一个细胞转移到另一个细胞，或从一个宿主转移到另一个宿主，涉及耗时的湿实验室方法。工业和学术研究人员正在尝试开发可以执行其中一些步骤的自主机器人和其他 AI 系统。

• 协助或完成人类、动物或植物病原体的从头合成方案。合同研究组织等商业实体在合同基础上提供研究服务，但他们执行的分步协议通常涉及人力劳动。现在，人们有兴趣利用 AI 系统和 agent 将其中一些工作自动化，以提高可扩展性并降低成本。

• 设计将非人类动物病原体转化为人类病原体的基因、遗传途径或蛋白质。大多数人类传染病源于非人类动物。（一些始于动物的疾病可以变异成仅感染人类的菌株，就像 HIV 一样。）到目前为止，很难预测哪些基因、菌株或蛋白质会增加病原体从动物转移到人类的可能性。为了改进此类预测，AI 开发人员可能会构建系统，将大量病原体基因组数据与影响传播性特征的信息整合在一起。（目前，没有足够的训练数据来执行此操作，收集这些数据本身也会带来风险）。

• 设计病原体中的蛋白质、基因或遗传途径，使它们选择性地危害特定人群。将人类基因组数据与病原体数据整合在一起的 AI 系统或许能够揭示为什么特定人群对病原体的易感性有高有低。

• 使用病原体基因组数据模拟疾病如何传播。流行病学建模是指根据病原体和人群的特征对疾病爆发进行计算模拟。AI 可以使此类预测更轻松、更准确。未来的 AI 系统甚至可能仅根据病原体基因组信息做出粗略的传播估计。

亟需指导

目前正在研究所有这些 AI 能力的潜在有益应用。因此，政府在制定政策时，必须在降低风险的同时保留这些益处，或就更安全的替代品提供指导，这是非常重要的。

但是，只有在明确哪些 AI 能力会构成大流行病规模的生物安全和生物安保风险后，才能进行有效评估。换句话说，正在测试的任何能力与发生高风险事件的可能性之间，必须存在很强的相关性。如果通过安全测试检测到这种能力，则可以采取有针对性的措施来降低风险。

在测试阶段，从 AI 模型中获取有害能力的尝试可能会产生不同的结果，具体取决于所使用的方法和所做的努力。因此，为了有效，能力测试必须足够可靠。此外，评估应由对技术有深入了解的专家进行，但他们不受开发 AI 系统或被评估系统的公司的制约。目前，这是一个相当大的困难，因为那些最了解如何测试 AI 模型的人经常参与他们的开发。

一些人有理由地认为，由于目前 AI 生物安全测试所需的时间和资源，小型 AI 公司和学术实验室无法进行此类测试。在最近的 GPT-4o 评估中，OpenAI 与 100 多名外部红队成员合作，以找出该模型的潜在有害能力。然而，如果涉及的更多步骤实现自动化，AI 系统的安全测试可能会变得简单、常规且经济实惠。这种转变在网络安全等其他领域已经发生，软件工具已经取代了人类黑客。

11 月 20 日至 21 日，来自已建立 AI 安全研究所或致力于建立 AI 安全研究所的国家/地区的代表将齐聚旧金山，讨论公司如何在实践中以安全和合乎道德的方式开发 AI 系统。

明年 2 月，各国元首和行业领袖将在巴黎举行的全球 AI 行动峰会上，讨论如何“基于关于安全和安保问题的客观科学共识”建立对 AI 的信任。

所有这些都令人鼓舞。但第一步是通过积极主动的程序，让不同的独立专家参与进来，达成客观的科学共识。