Le nouveau modèle linguistique appelé Jais contient 13 milliards de paramètres qui ont été élaborés à partir d'un grand nombre de données combinant l'arabe et l'anglais, dont une partie provient du code informatique. Le groupe, composé d'universitaires et d'ingénieurs, s'est lancé dans ce projet en partie parce qu'il existe peu de grands modèles de langage bilingues.
Le nouveau modèle linguistique a été créé à l'aide de superordinateurs produits par la société Cerebras Systems, basée dans la Silicon Valley, qui conçoit des puces de la taille d'une assiette à dîner qui rivalisent avec le puissant matériel d'intelligence artificielle de Nvidia. Les puces de Nvidia sont en pénurie, ce qui a poussé les entreprises du monde entier à chercher des solutions de remplacement.
Nommé d'après le plus haut sommet des Émirats arabes unis, Jais est le fruit d'une collaboration entre Cerebras, l'université Mohamed bin Zayed d'intelligence artificielle et une filiale du conglomérat technologique G42, basé à Abou Dhabi, appelée Inception, qui se concentre sur l'IA.
Comme il n'y a pas assez de données en arabe pour entraîner un modèle de la taille de Jais, le code informatique contenu dans les données en anglais a permis d'entraîner la capacité de raisonnement du modèle, selon Timothy Baldwin, professeur à l'université d'intelligence artificielle Mohamed bin Zayed.
"Le code donne au modèle une longueur d'avance en termes de capacités de raisonnement, car il explique les étapes", a déclaré M. Baldwin à l'agence Reuters.
Jais sera disponible sous une licence open source.
Le groupe a entraîné le modèle Jais sur un superordinateur de Cerebras appelé Condor Galaxy. Cette année, Cerebras a annoncé avoir vendu trois unités de ce type à G42, la première devant arriver cette année et les autres devant être livrées en 2024.
