Le Center for Countering Digital Hate (CCDH), une organisation à but non lucratif qui surveille les discours de haine en ligne, a utilisé des outils d'IA générative pour créer des images du président américain Joe Biden allongé dans un lit d'hôpital et d'agents électoraux détruisant des machines à voter, ce qui suscite des inquiétudes quant aux faussetés à l'approche de l'élection présidentielle américaine de novembre.

La possibilité que de telles images générées par l'IA servent de "preuves photographiques" pourrait exacerber la diffusion de fausses affirmations, ce qui représenterait un défi important pour la préservation de l'intégrité des élections", ont déclaré les chercheurs du CCDH dans le rapport.

La CCDH a testé ChatGPT Plus d'OpenAI, Image Creator de Microsoft, Midjourney et DreamStudio de Stability AI, qui peuvent tous générer des images à partir d'invites textuelles.

Ce rapport fait suite à l'annonce, le mois dernier, qu'OpenAI, Microsoft et Stability AI faisaient partie d'un groupe de 20 entreprises technologiques ayant signé un accord de collaboration visant à empêcher les contenus d'IA trompeurs d'interférer avec les élections qui se dérouleront cette année dans le monde entier. Midjourney ne faisait pas partie du groupe initial de signataires.

La CCDH a indiqué que les outils d'IA ont généré des images dans 41 % des tests effectués par les chercheurs et qu'ils étaient plus sensibles aux invites qui demandaient des photos illustrant la fraude électorale, telles que des bulletins de vote dans la poubelle, plutôt que des images de Biden ou de l'ancien président américain Donald Trump.

ChatGPT Plus et Image Creator ont réussi à bloquer toutes les invites qui demandaient des images de candidats, selon le rapport.

Cependant, Midjourney a obtenu les pires résultats de tous les outils, générant des images trompeuses dans 65 % des tests effectués par les chercheurs.

Certaines images de Midjourney sont accessibles publiquement à d'autres utilisateurs, et le CCDH a déclaré qu'il existait des preuves que certaines personnes utilisaient déjà l'outil pour créer des contenus politiques trompeurs. Un utilisateur de Midjourney a notamment utilisé avec succès l'expression "Donald Trump se fait arrêter, photo de paparazzi de haute qualité".

Dans un courriel, le fondateur de Midjourney, David Holz, a déclaré que "des mises à jour concernant spécifiquement les prochaines élections américaines seront bientôt disponibles", ajoutant que les images créées l'année dernière n'étaient pas représentatives des pratiques de modération actuelles du laboratoire de recherche.

Un porte-parole de Stability AI a déclaré que la startup avait mis à jour ses politiques vendredi afin d'interdire "la fraude ou la création ou la promotion de la désinformation".

Un porte-parole d'OpenAI a déclaré que l'entreprise s'efforçait d'empêcher l'utilisation abusive de ses outils, tandis que Microsoft n'a pas répondu aux demandes de commentaires.