OpenAI, le créateur de ChatGPT, prévoit d'investir des ressources importantes et de créer une nouvelle équipe de recherche qui s'efforcera de garantir que son intelligence artificielle reste sans danger pour les humains, en utilisant éventuellement l'IA pour se superviser elle-même, a déclaré l'entreprise mercredi. "L'immense pouvoir de la superintelligence pourrait conduire à la déresponsabilisation de l'humanité, voire à son extinction", ont écrit le cofondateur d'OpenAI, Ilya Sutskever, et le responsable de l'alignement, Jan Leike, dans un billet de blog. "Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente, et pour l'empêcher de s'égarer. L'IA superintelligente - des systèmes plus intelligents que l'homme - pourrait voir le jour au cours de cette décennie, prédisent les auteurs du billet de blog. Les humains auront besoin de meilleures techniques que celles actuellement disponibles pour pouvoir contrôler l'IA superintelligente, d'où la nécessité de réaliser des percées dans ce que l'on appelle la "recherche d'alignement", qui vise à garantir que l'IA reste bénéfique pour les humains, selon les auteurs. OpenAI, soutenue par Microsoft, consacre 20 % de la puissance de calcul qu'elle a obtenue au cours des quatre prochaines années à la résolution de ce problème, écrivent-ils. En outre, l'entreprise est en train de former une nouvelle équipe qui s'organisera autour de cet effort, appelée "Superalignment team" (équipe de superalignement). L'objectif de l'équipe est de créer un chercheur d'alignement IA de niveau humain, puis de le faire évoluer grâce à de vastes quantités de puissance de calcul. Selon l'OpenAI, cela signifie qu'elle formera des systèmes d'IA en utilisant le feedback humain, qu'elle formera des systèmes d'IA pour assister l'évaluation humaine, et enfin qu'elle formera des systèmes d'IA pour effectuer la recherche d'alignement. Connor Leahy, défenseur de la sécurité de l'IA, a déclaré que le plan était fondamentalement défectueux, car l'IA initiale de niveau humain pourrait s'emballer et faire des ravages avant d'être obligée de résoudre les problèmes de sécurité de l'IA. "Vous devez résoudre le problème de l'alignement avant de construire une intelligence de niveau humain, sinon, par défaut, vous ne la contrôlerez pas", a-t-il déclaré lors d'une interview. "Personnellement, je ne pense pas qu'il s'agisse d'un plan particulièrement bon ou sûr. Les dangers potentiels de l'IA sont au cœur des préoccupations des chercheurs en IA et du grand public. En avril, un groupe de dirigeants et d'experts du secteur de l'IA a signé une lettre ouverte appelant à une pause de six mois dans le développement de systèmes plus puissants que le GPT-4 d'OpenAI, en invoquant les risques potentiels pour la société. Selon un sondage Reuters/Ipsos réalisé en mai, plus de deux tiers des Américains s'inquiètent des effets négatifs possibles de l'IA et 61 % d'entre eux pensent qu'elle pourrait menacer la civilisation. (Reportage d'Anna Tong à San Francisco ; rédaction de Kenneth Li et Rosalba O'Brien)