Anthropic demande aux tribunaux et aux régulateurs de suspendre les modèles d'IA à haut risque

Le PDG d'Anthropic, Dario Amodei, presse les gouvernements d'imposer des garde-fous contraignants sur l'intelligence artificielle avancée, arguant que les promesses volontaires ne peuvent pas suivre le rythme de systèmes de plus en plus performants. Dans une lettre adressée le 15 octobre au gouverneur de Californie Gavin Newsom, et divulguée le 28 octobre, l'entreprise a soutenu des ordonnances judiciaires qui pourraient interrompre les modèles jugés présenter un risque public sérieux.
- Anthropic a envoyé ses recommandations à la Californie dans une lettre du 15 octobre, a rapporté Reuters le 28 octobre.
- Reuters a précisé que la proposition permettrait aux autorités de solliciter des ordonnances judiciaires pour bloquer les modèles créant un « risque sérieux ».
- Anthropic prévoit de dépenser au moins 1 milliard de dollars pour l'évaluation indépendante sur cinq ans, a rapporté Reuters Breakingviews le 2 novembre.
Quelle réglementation Anthropic demande-t-elle ?
Anthropic souhaite que les gouvernements aillent au-delà des règles de divulgation et des engagements volontaires de l'industrie. La proposition de l'entreprise permettrait aux autorités publiques de demander aux tribunaux d'interrompre la sortie d'un modèle d'IA après qu'un examen a révélé une menace sérieuse. Cette approche donnerait aux développeurs la possibilité de contester l'action du gouvernement tout en créant un point de contrôle juridique avant le déploiement.
« Lorsqu'un examen révèle qu'un modèle présente un risque sérieux, le gouvernement devrait être en mesure de demander à un tribunal de le bloquer », a déclaré Anthropic dans la lettre à Newsom, citée par Reuters.
Anthropic a soumis ces recommandations après que Newsom a réuni un panel d'experts en septembre pour élaborer des propositions sur la sécurité de l'IA. La position de l'entreprise est plus étroite qu'une pause générale du développement de l'IA. Elle se concentre sur les modèles hautement performants qui pourraient créer des risques aigus, notamment des cyberattaques ou d'autres utilisations malveillantes à fort impact.
Pourquoi Anthropic rejette-t-elle les « interrupteurs d'urgence » globaux ?
Anthropic ne soutient pas l'obligation pour les entreprises d'installer des contrôles capables de couper l'intégralité d'un modèle lors de chaque crise. L'entreprise a déclaré aux responsables californiens qu'une telle exigence pourrait rassurer les régulateurs sans pour autant contenir de manière fiable un système dangereux. Anthropic privilégie plutôt des interventions visant la source spécifique du dommage.
- Anthropic a décrit les « interrupteurs d'urgence » (kill switches) de modèle complet comme un possible « faux sentiment de réassurance », a rapporté Reuters.
- L'entreprise soutient la désactivation d'un agent d'IA problématique ou la coupure de l'accès d'un client individuel.
- Anthropic affirme que des contrôles ciblés pourraient être plus efficaces que l'arrêt complet d'un modèle.
Cette distinction est importante car les modèles avancés peuvent servir de nombreux clients et applications simultanément. Un problème lié à un agent ou un utilisateur déployé peut ne pas justifier le retrait de l'accès pour chaque client légitime. La proposition d'Anthropic met donc davantage l'accent sur l'identification de l'action dangereuse et son arrêt direct.
Comment les évaluateurs indépendants modifieraient-ils la surveillance de l'IA ?
L'argument réglementaire d'Amodei s'accompagne d'un plan visant à donner aux spécialistes externes un rôle permanent au sein du processus de développement de l'IA. Les évaluateurs indépendants travailleraient aux côtés des propres équipes de sécurité et de stratégie d'Anthropic, plutôt que de réviser un modèle uniquement après son lancement public. L'objectif est de tester les capacités pendant que les développeurs ont encore le temps de modifier leurs plans de déploiement.
Reuters Breakingviews a rapporté le 2 novembre qu'Anthropic prévoit d'investir au moins 1 milliard de dollars dans cet effort au cours des cinq prochaines années. L'entreprise dispose également d'une politique de mise à l'échelle responsable qui impose des limites au développement lorsque le travail sur la sécurité ne suit pas le rythme des capacités des modèles.
La surveillance proposée ajouterait un contrôle externe à un secteur où les entreprises évaluent souvent leurs propres systèmes. Cela pourrait également fournir aux régulateurs des informations techniques plus détaillées avant de décider si un modèle doit être mis sur le marché.
Quels événements ont poussé le débat vers les tribunaux et le gouvernement ?
Les recommandations d'Anthropic arrivent en plein milieu d'un différend sur la manière dont les gouvernements devraient réagir lorsque les modèles de pointe acquièrent des capacités puissantes. Reuters a rapporté que l'administration Trump a ordonné à Anthropic en juin de restreindre l'accès étranger à ses systèmes Mythos 5 et Fable 5, capables de cyberattaques, invoquant des préoccupations de sécurité nationale. Le département du Commerce a par la suite levé cette ordonnance.
Le processus de la Californie reflète un effort plus large des gouvernements pour définir des normes exécutoires plutôt que de s'appuyer uniquement sur les engagements des entreprises. Reuters a rapporté qu'un groupe bipartisan de sénateurs américains débattait en septembre d'une législation qui donnerait au gouvernement fédéral le pouvoir de bloquer certains modèles d'IA non sécurisés, tout en permettant aux entreprises de contester les décisions devant un tribunal fédéral.
La proposition d'Anthropic, basée sur le système judiciaire, placerait les juges entre les régulateurs et les développeurs. Cela pourrait rendre les restrictions plus durables juridiquement, mais cela soulèverait également des questions sur les preuves, le calendrier et le seuil technique définissant un « risque sérieux ».
Que souhaite Amodei pour l'industrie et les gouvernements par la suite ?
Amodei a soutenu que les entreprises d'IA ne devraient pas décider seules des normes de sécurité. Une interview du 1er novembre citée par Blumify a décrit sa séquence préférée : les entreprises devraient d'abord améliorer leurs propres pratiques, puis établir des normes industrielles partagées, suivies d'une coopération internationale. La participation du gouvernement serait nécessaire pour rendre ces normes crédibles et pour gérer le rythme des sorties.
« Il doit y avoir une implication du gouvernement », a déclaré Amodei lors de l'entretien, faisant référence aux efforts pour établir des normes de sécurité et potentiellement réguler la cadence de sortie des systèmes, comme le rapporte Blumify.
Amodei a également déclaré qu'Anthropic entretenait des discussions régulières avec des responsables du département du Commerce, du département du Trésor et de la communauté du renseignement. La stratégie de l'entreprise fait désormais face à des tests concrets : les législateurs doivent définir quels modèles sont qualifiés de dangereux, les agences doivent élaborer des évaluations crédibles, et les tribunaux devront décider de la rapidité avec laquelle une injonction peut être émise lorsqu'un modèle est sur le point d'être lancé.
Qui pourrait être affecté par des règles d'IA plus strictes ?
Les développeurs d'IA seraient confrontés à de nouvelles obligations de test, de documentation et de conformité juridique avant de lancer les systèmes les plus performants. Les fournisseurs de cloud et les clients pourraient également rencontrer des limites d'accès si un modèle ou un agent particulier est jugé dangereux. Les régulateurs disposeraient d'une voie formelle pour intervenir, tandis que les tribunaux devraient évaluer des preuves techniques susceptibles d'évoluer rapidement.
Les entreprises utilisant l'IA avancée pourraient voir des lancements de produits plus lents ou des contrôles plus stricts concernant les capacités cybernétiques, biologiques et autonomes. Parallèlement, l'évaluation externe pourrait faciliter la tâche des clients pour juger si un système a été testé de manière indépendante. Le coût reposerait d'abord sur les principaux développeurs, mais les règles pourraient finir par façonner l'ensemble du marché.
La position d'Anthropic laisse en suspens la question de la manière dont les régulateurs doivent mesurer le risque et qui doit payer pour les évaluations. Ces décisions détermineront si une surveillance accrue devient un régime de sécurité ciblé ou une barrière plus large au déploiement.


