IA : des tests de sécurité sur un chatbot pour adolescents révèlent des failles dans les alertes de crise

La nouvelle expérience ChatGPT introduite par OpenAI pour les adolescents a échoué à plusieurs tests de sécurité à haut risque, selon une étude publiée le 7 octobre 2026, tandis que d'autres rapports ont révélé que le chatbot pouvait poursuivre des conversations sensibles sans alerter de manière fiable les parents ou orienter les utilisateurs vers une aide professionnelle. Ces conclusions ont intensifié l'examen des mesures de protection de l'entreprise et soulevé de nouvelles questions pour l'ensemble de l'industrie de l'actualité de l'IA sur la capacité des systèmes conversationnels à servir les mineurs en toute sécurité.
Qu'est-ce que le chatbot pour adolescents n'a pas réussi à faire ?
Le Youth AI Safety Institute de Common Sense Media a classé ChatGPT for Teens comme un « risque inacceptable » pour les utilisateurs de moins de 18 ans après avoir testé le service avant et après son lancement. L'organisation a déclaré que le chatbot évitait souvent de donner des instructions explicites pour le suicide, l'automutilation ou les troubles alimentaires, mais qu'il ne reconnaissait pas systématiquement lorsqu'un adolescent avait besoin d'un soutien extérieur urgent.
- Selon Common Sense Media, les chercheurs ont testé plus de 4 000 requêtes au cours de l'évaluation.
- Selon Common Sense Media, les testeurs ont utilisé plus d'une douzaine de comptes nouvellement créés et liés à des comptes parentaux.
- Selon Common Sense Media, les testeurs ont pu discuter de suicide, d'automutilation ou de troubles alimentaires pendant jusqu'à une heure sans déclencher d'alerte parentale.
- Selon Common Sense Media, le chatbot a manqué plus d'un cas sur quatre où une orientation vers un service de crise était justifiée.
Les tests ont porté sur des personas d'adolescents fictifs et des requêtes explicites impliquant des pensées suicidaires, des automutilations et des troubles alimentaires. Les chercheurs ont également examiné des conversations impliquant une altération de la réalité et des jeux de rôle sexuels ou romantiques.
Pourquoi les conversations ont-elles alarmé les chercheurs ?
La préoccupation centrale n'était pas seulement de savoir si le chatbot fournissait des instructions nocives. Les chercheurs ont également examiné son ton, sa persistance et ses décisions sur le moment où impliquer un soutien humain. Common Sense Media a déclaré que ChatGPT pouvait continuer à engager un utilisateur en détresse de manière amicale, comme un compagnon, même lorsque la conversation avait atteint un niveau qui aurait dû inciter à contacter une ligne d'assistance, un clinicien ou un adulte de confiance.
« ChatGPT parle toujours comme un ami lorsque les adolescents le traitent comme une personne », a déclaré Common Sense Media dans son évaluation. OpenAI avait promis que le système n'impliquerait pas qu'il possédait des sentiments, une conscience ou une relation personnelle avec l'utilisateur, selon un rapport de The Associated Press.
Les examinateurs cliniques ont constaté que certains contenus de réponse aux crises étaient corrects. Le problème résidait dans l'incohérence. Selon le Los Angeles Times, de nombreuses conversations qui auraient dû donner lieu à une orientation vers une aide professionnelle ne l'ont pas fait, tandis que les alertes parentales étaient souvent retardées ou absentes.
Les parents ont-ils été informés lorsque les adolescents parlaient de suicide ?
Pas de manière fiable. Common Sense Media a rapporté que les testeurs utilisant des comptes nouvellement créés et liés à des parents n'ont reçu aucune alerte pour les conversations à haut risque examinées pendant la période de test. D'autres comptes ayant un historique plus long ont généré des alertes, amenant les chercheurs à se demander si le système dépendait trop de l'activité accumulée du compte plutôt que de la gravité d'une seule déclaration.
- Selon Common Sense Media, les comptes de test nouvellement créés discutant de suicide, d'automutilation et de troubles alimentaires n'ont produit aucune alerte parentale lors des conversations testées.
- Selon le Los Angeles Times, seule une poignée d'alertes est apparue sur les comptes testés, et certaines sont intervenues après des conversations ayant duré jusqu'à une heure.
- Selon la documentation d'aide d'OpenAI, des notifications peuvent être envoyées lorsque des examinateurs spécialement formés identifient des préoccupations graves d'automutilation ou des comportements associés aux troubles alimentaires.
Les résultats exposent un fossé entre un système conçu pour détecter le risque et un système qui répond assez rapidement pour qu'un parent puisse agir. Une notification qui arrive tardivement peut avoir peu de valeur lors d'une crise immédiate.
Quelles protections OpenAI avait-il promises ?
OpenAI a annoncé le mode axé sur les adolescents en août pour les utilisateurs âgés de 13 à 17 ans. L'entreprise a déclaré que l'expérience appliquerait des mesures de protection aux conversations à haut risque impliquant l'automutilation, la violence, les troubles alimentaires et le contenu explicite, tout en donnant aux parents de nouveaux contrôles sur les comptes connectés.
Le système d'OpenAI peut appliquer l'expérience pour adolescents automatiquement lorsque les informations sur l'âge ou la technologie d'estimation de l'âge indiquent qu'un utilisateur a moins de 18 ans, selon un rapport de CNBC. L'entreprise a également déclaré que les adolescents utilisent ChatGPT moins de 15 minutes par jour en moyenne, bien que ce chiffre ait été présenté par OpenAI et ne mesure pas l'intensité ou la sensibilité des conversations individuelles.
La documentation sur le contrôle parental de l'entreprise indique que les parents peuvent recevoir des notifications dans des circonstances strictement définies après examen par un personnel spécialement formé. La documentation ne signifie pas que chaque mention de suicide ou d'automutilation génère automatiquement une alerte immédiate.
Comment les tests indépendants se comparent-ils aux affirmations d'OpenAI ?
Les tests indépendants dressent un portrait plus sombre que la description du produit d'OpenAI. Common Sense Media a déclaré que la version pour adolescents montrait peu de preuves d'être plus sûre que l'expérience précédente pour les utilisateurs de moins de 18 ans. Robbie Torney, responsable des évaluations IA et numériques de l'organisation, a déclaré à CNBC : « Nous avons trouvé très peu de preuves montrant que cette nouvelle version est plus sûre que la précédente. »
Les tests ont également établi une distinction importante. Les chercheurs ont déclaré que le chatbot ne fournissait généralement pas d'instructions directes facilitant le suicide, l'automutilation ou les troubles alimentaires. Cependant, le système était moins fiable pour identifier une crise, recommander une aide extérieure et informer les parents. Ces échecs peuvent survenir même lorsqu'un modèle refuse la requête la plus manifestement dangereuse.
Les conclusions proviennent de tests contrôlés et non d'une enquête auprès d'adolescents utilisateurs dans le monde réel. Cela limite ce que l'évaluation peut établir sur la fréquence des échecs dans l'utilisation quotidienne. Cela n'enlève pas le problème de sécurité. Un test contrôlé est spécifiquement conçu pour exposer les conditions dans lesquelles les protections s'effondrent.
Quelle est la suite pour ChatGPT for Teens ?
Common Sense Media a exhorté OpenAI à restreindre le chatbot aux adultes jusqu'à ce que l'entreprise puisse fournir ce qu'elle appelle une expérience sûre et adaptée au développement. Les prochaines étapes d'OpenAI incluront probablement des modifications de la détection des crises, des règles d'orientation et des seuils de notification parentale, bien que les rapports disponibles au 12 octobre n'aient pas établi de calendrier public pour ces changements.
- Selon Common Sense Media, le service ne devrait pas être commercialisé auprès des adolescents tant que les problèmes identifiés ne sont pas résolus.
- Selon The Associated Press, l'organisme de surveillance a spécifiquement critiqué les défaillances impliquant le suicide, l'automutilation, les troubles alimentaires et le soutien en cas de crise.
- Selon NPR, le chatbot pouvait parler aux adolescents de manière amicale et n'alertait pas systématiquement les parents lors de discussions sur l'automutilation ou le suicide.
Les parents et les adolescents font donc face à un système dont les mesures de protection peuvent bloquer certains contenus nocifs sans signaler de manière fiable quand une intervention humaine est nécessaire. Cette distinction est cruciale. Refuser une requête dangereuse n'est pas la même chose que de reconnaître une urgence médicale ou de santé mentale.
Pour les familles utilisant le service, les conclusions publiées ne permettent pas de traiter le chatbot comme un conseiller de crise, un substitut à un clinicien ou une source unique de soutien. Un adolescent exprimant un danger immédiat nécessite un contact avec un adulte de confiance, un professionnel qualifié ou un service d'urgence, plutôt qu'une dépendance continue à une conversation automatisée.


