双重用途研究中的意图识别难题：生物案例 4–5

发生了什么

在剩余两个案例中，研究者对非传播性新型毒液和毒素进行了研究。这类化合物具有重要的双重用途特性：例如，肉毒杆菌毒素是一种高致死性物质，曾被多个国家作为生物武器追求，但现在以极小、精确计量的「肉毒杆菌素」形式用于治疗偏头痛、痉挛和皱纹。类似地，来自贝类藻类的石房蛤毒素在 1950 年代和 60 年代被 CIA 储存作为自杀和暗杀剂，但是研究神经信号传导的重要工具；其来自河豚的表亲河豚毒素已被试验用于治疗癌症疼痛。

在第四个案例中，一名研究者使用 Claude 开发了一个来自多个有毒动物谱系的毒液毒素肽图谱。他们进一步将其发展为一个优化毒素特性的生成管道。该计划有明确的治疗目标：开发新的止痛药、抗抑郁药和其他治疗分子。然而，图谱包含治疗和麻痹靶点的骨架：因此，它可以被用于生成新型治疗或有害化合物。后者来自因作为失能剂的双重用途潜力而被列入澳大利亚集团共同管制清单的毒素。研究者本人表现出对其工作双重用途性质的认识，引用了提及蛋白质设计双重用途性质的期刊文章。此外，该地点的国际合规评估引发了对研究者追求的特定类别毒素，特别是在此类毒素背景下将 AI/ML 用于生物武器应用的担忧。在本案中，我们从与 Claude 共享的信息中得知，研究者的产出也是一个国家支持研究计划的一部分。该账号于 2026 年 5 月因不支持地区规避被封禁。

在第五个案例中，一名研究者在多个涉及多种毒素计算重新设计的研究项目中使用 Claude。与前一案例类似，这些研究项目使用了许多相同的技术工具，在很大程度上以治疗背景框定目标，并描述了国家公共研究计划下的国家优先研究。作为这项研究任务的一部分，工作涵盖了一种细菌毒素亚基和一种出血热病毒的蛋白质，该病毒在世界卫生组织研发蓝图中具有最大流行和大流行威胁的疾病优先清单上。

研究者与 Claude 共同撰写季度进展报告。值得注意的是，细菌毒素和病毒蛋白的身份被故意模糊，研究者明确指示 Claude 保持这些描述的低保真度。我们于 2026 年 5 月封禁了这两个账号，原因是违反了 Anthropic 的支持地区政策。

AI 在其中做了什么

在案例 4 中，Claude 被用于开发毒液毒素肽图谱和生成管道，优化毒素特性以开发治疗分子。

在案例 5 中，Claude 被用于多种毒素的计算重新设计和季度进展报告撰写。

报告观察到了什么

在这两个案例中，工作基本上没有受到我们的生物安全分类器的阻碍。这是设计使然。分类器的目的和意图是限制对使新手能够开发具有潜在灾难性影响的已知生物武器的信息的访问。在这些案例中，我们看到我们的模型被用于研究可以同时开发为新型治疗或有毒制剂的新型化合物。

我们认为这些案例说明了使用分类器作为唯一保护层的挑战：由于在高技术双重用途领域无法可靠识别用户意图，分类器无法同时实现有益和防止伤害。这一认识和我们对此类案例的观察向我们表明，提供前沿生物能力的唯一安全方式是在可信用户计划中提供。

确认与未知

平台措施

Anthropic 封禁了两个账号，并将调查发现纳入防护措施。报告建议在可信用户计划中提供前沿生物能力。

措施局限：封禁账号不能阻止研究者使用其他工具继续研究。