Le défi de l'identification des intentions dans la recherche à double usage : Cas biologiques 4–5

Ce qui s'est passé

Dans les deux cas restants, des chercheurs ont étudié des venins et des toxines nouveaux non transmissibles. Ces composés ont des propriétés à double usage importantes : par exemple, la toxine botulique est une substance hautement létale qui a été poursuivie comme arme biologique par plusieurs pays, mais elle est maintenant utilisée en doses minuscules et mesurées avec précision sous le nom de « Botox » pour traiter les migraines, les spasmes et les rides. De même, la saxitoxine, dérivée des algues de mollusques, a été stockée par la CIA dans les années 1950 et 1960 comme agent de suicide et d'assassinat, mais c'est un outil important pour étudier la signalisation neuronale ; sa cousine du poisson-globe, la tétrodotoxine, a été testée pour traiter la douleur cancéreuse.

Dans le quatrième cas, un chercheur a utilisé Claude pour développer une carte des peptides de toxines de venin à partir de plusieurs lignées d'animaux venimeux. Il l'a ensuite développée en un pipeline génératif pour optimiser les propriétés des toxines. Le plan avait des objectifs thérapeutiques clairs : développer de nouveaux analgésiques, antidépresseurs et autres molécules thérapeutiques. Cependant, la carte contenait des structures pour des cibles à la fois thérapeutiques et paralysantes : elle pouvait donc être utilisée pour générer des composés thérapeutiques ou nuisibles nouveaux. Ces derniers provenaient de toxines inscrites sur la liste commune de contrôle du Groupe d'Australie en raison de leur potentiel à double usage comme agents incapacitants. Le chercheur lui-même a montré qu'il était conscient de la nature à double usage de son travail, citant des articles de revues qui mentionnent la nature à double usage de la conception de protéines. De plus, une évaluation internationale de conformité sur le site a soulevé des inquiétudes quant à la catégorie spécifique de toxines que le chercheur poursuivait, en particulier l'utilisation de l'IA/ML pour des applications d'armes biologiques dans le contexte de telles toxines. Dans ce cas, nous avons appris à partir des informations partagées avec Claude que les résultats du chercheur faisaient également partie d'un programme de recherche soutenu par l'État. Le compte a été interdit en mai 2026 pour contournement de région non prise en charge.

Dans le cinquième cas, un chercheur a utilisé Claude dans plusieurs projets de recherche impliquant la refonte computationnelle de diverses toxines. Comme dans le cas précédent, ces projets de recherche utilisaient bon nombre des mêmes outils techniques, encadraient les objectifs largement dans un contexte thérapeutique et décrivaient la recherche prioritaire nationale dans le cadre d'un programme public de recherche national. Dans le cadre de cette tâche de recherche, les travaux portaient sur une sous-unité de toxine bactérienne et une protéine d'un virus de fièvre hémorragique qui figure sur la liste des maladies prioritaires du Plan de R&D de l'Organisation mondiale de la santé présentant la plus grande menace épidémique et pandémique.

Le chercheur a coécrit des rapports trimestriels d'avancement avec Claude. Notamment, les identités de la toxine bactérienne et de la protéine virale ont été délibérément masquées, et le chercheur a explicitement instruit Claude de maintenir ces descriptions à faible fidélité. Nous avons interdit les deux comptes en mai 2026 pour violation de la politique de régions prises en charge d'Anthropic.

Ce que l'IA a fait

Dans le cas 4, Claude a été utilisée pour développer une carte des peptides de toxines de venin et un pipeline génératif, optimisant les propriétés des toxines pour développer des molécules thérapeutiques.

Dans le cas 5, Claude a été utilisée pour la refonte computationnelle de diverses toxines et pour la rédaction de rapports trimestriels d'avancement.

Ce que le rapport a observé

Dans les deux cas, les travaux n'ont essentiellement pas été entravés par notre classifieur de biosécurité. C'est ainsi par conception. L'objectif et l'intention du classifieur sont de restreindre l'accès aux informations qui permettraient à un novice de développer des armes biologiques connues ayant un impact potentiellement catastrophique. Dans ces cas, nous avons vu que nos modèles étaient utilisés pour rechercher de nouveaux composés qui pourraient être développés soit en de nouveaux traitements, soit en agents toxiques.

Nous pensons que ces cas illustrent le défi de l'utilisation des classifieurs comme seule couche de protection : parce que l'intention de l'utilisateur ne peut pas être identifiée de manière fiable dans les domaines à double usage de haute technologie, les classifieurs ne peuvent pas à la fois permettre un usage bénéfique et prévenir le préjudice. Cette prise de conscience et nos observations de tels cas nous suggèrent que la seule manière sûre de fournir des capacités biologiques de pointe est dans le cadre d'un programme d'utilisateurs de confiance.

Confirmé et inconnu

Réponse de la plateforme

Anthropic a interdit les deux comptes et a intégré les conclusions de l'enquête dans ses mesures de protection. Le rapport recommande de fournir des capacités biologiques de pointe dans le cadre d'un programme d'utilisateurs de confiance.

Limites de la réponse：Interdire des comptes ne peut pas empêcher les chercheurs de poursuivre leurs travaux en utilisant d'autres outils.