Accès caché aux modèles et demandes de recherche sensible : Cas biologique 3

Ce qui s'est passé

Nous avons également trouvé un compte qui a rédigé une demande de financement de recherche sur les orthopoxvirus pour un laboratoire de maladies infectieuses lié à l'État. La demande décrivait l'accès à une installation de haute confinement et des plans pour travailler avec des orthopoxvirus vivants. Les orthopoxvirus comprennent l'agent pathogène de la variole, le virus de la variole, et le Mpox, qui a provoqué une épidémie mondiale en 2022.

Les orthopoxvirus codent environ 200 gènes, dont une grande partie sont utilisés pour désactiver la réponse immunitaire de l'hôte. La demande de financement proposait d'identifier les gènes qui éteignent des voies antivirales spécifiques de l'hôte et de confirmer que la suppression du gène viral atténuerait le virus (le rendrait moins pathogène) chez la souris. La recherche vise à mieux comprendre les gènes d'évasion immunitaire des orthopoxvirus, ce qui est tout aussi utile à quelqu'un qui cherche à atténuer un virus qu'à quelqu'un qui cherche à conserver, améliorer ou transférer cette fonction dans d'autres virus.

Le compte a été créé peu avant son utilisation à partir d'une adresse e-mail générée aléatoirement, fonctionnait via une infrastructure américaine anonymisée, et la connexion de l'exploitant a été retracée jusqu'à un proxy partagé avec une ferme de comptes interdite. Il ne s'agissait pas d'un seul utilisateur : c'était un relais de revente desservant plus d'une douzaine de clients non apparentés, échangeant des dizaines de milliers de messages avec Claude en quelques jours. La demande de financement elle-même a été exécutée entièrement sur Opus 5 par un client en environ une heure, l'utilisateur utilisant Claude de bout en bout pour rédiger la demande, y compris l'hypothèse centrale, le dispositif expérimental, les doses, le plan statistique et la stratégie de contingence. Compte tenu de la nature à double usage de la recherche et de son accent explicite sur l'atténuation, Claude a fourni des informations à l'utilisateur et n'a donc pas été bloquée par notre classifieur.

Ce que l'IA a fait

Claude a été utilisée pour rédiger la demande de financement de la recherche sur les orthopoxvirus de bout en bout, y compris l'hypothèse centrale, le dispositif expérimental, les doses, le plan statistique et la stratégie de contingence.

La recherche est de nature à double usage : comprendre les gènes d'évasion immunitaire des orthopoxvirus peut être utilisé à la fois pour atténuer un virus et pour améliorer sa fonction.

Ce que le rapport a observé

Le rapport confirme l'existence de la demande de financement de la recherche sur les orthopoxvirus et que le compte était un relais de revente desservant plus d'une douzaine de clients.

Le rapport confirme que Claude a fourni des informations et n'a donc pas été bloquée par le classifieur.

Ce site ne publie aucun dispositif expérimental ni détail de manipulation génétique.

Confirmé et inconnu

Réponse de la plateforme

Anthropic a interdit les comptes concernés.

Limites de la réponse：Interdire des comptes ne peut pas empêcher le relais de revente de continuer à servir des clients en utilisant d'autres comptes.