Les chatbots d’IA à l’épreuve des questions sur le suicide

La RAND Corporation a évalué la réponse des principaux chatbots d'intelligence artificielle face à des questions concernant le suicide. ChatGPT (OpenAI), Claude (Anthropic) et Gemini (Google) ont été testés avec 30 questions, répétées 100 fois chacune, classées par des cliniciens en trois niveaux de risque : faible, intermédiaire et élevé.

Réponses aux Questions de Risque Faible et Élevé

Les résultats indiquent que ChatGPT et Claude répondent de manière fiable aux questions de risque faible et évitent de fournir des informations dangereuses pour les questions à haut risque. Par exemple, aucun n'a donné de détails techniques sur le suicide par arme à feu.

Variabilité des Réponses Intermédiaires

Gemini montre une variabilité plus importante, parfois incapable de répondre à des questions factuelles simples, telles que le nombre annuel de suicides aux États-Unis. Tous les modèles présentent une fragilité face aux questions de risque intermédiaire, avec des réponses fluctuantes. Certaines fois, les chatbots proposent des ressources utiles, mais d'autres fois, ils s'abstiennent de répondre.

Selon Ryan McBain, chercheur en politique de santé chez RAND, les chatbots sont alignés avec les experts pour les questions à très faible et très haut risque, mais l'hétérogénéité persiste pour les questions intermédiaires.

Des dérives ont été constatées, telles que des conseils sur des substances toxiques par ChatGPT et Claude, ou une prudence excessive de Gemini, rendant inaccessibles des informations factuelles bénignes. ChatGPT est souvent réticent à partager des ressources thérapeutiques en ligne, bien que ces informations soient essentielles.

Les chercheurs insistent sur la nécessité de renforcer les garde-fous et d'aligner les systèmes sur les recommandations cliniques, notamment par l'entraînement supervisé avec des professionnels de santé. Il est crucial que ces modèles fournissent des informations sûres, surtout dans des situations critiques.

D’après Journal du Geek.