AMD, Spectro Cloud et Supermicro ont annoncé le lancement d'AMD Instinct Coder, une solution d'inférence clé en main, validée et co-conçue pour le marché des entreprises. AMD Instinct Coder associe la plateforme PaletteAI Inference Launchpad de Spectro Cloud — qui assure le routage intelligent des modèles, le comptage, la gestion des quotas, l'optimisation du cache KV, ainsi que des options de déploiement sur site ou hébergées et la gouvernance — aux processeurs graphiques (GPU) AMD Instinct, offrant une puissance de calcul, une capacité mémoire et une bande passante de haute performance pour l'inférence IA. L'ensemble repose sur les systèmes d'IA d'entreprise de Supermicro, fournissant une infrastructure matérielle intégrée et prête pour la production. Cette solution packagée vise à remplacer les projets d'infrastructure complexes par une voie plus rapide vers le déploiement et l'exploitation de l'inférence IA privée.

AMD Instinct Coder permet aux organisations de router chaque requête en fonction des politiques internes, de la complexité de la charge de travail, des capacités du modèle et de la disponibilité de l'infrastructure. Les tâches de codage courantes et adaptées peuvent être traitées par des modèles déployés localement, tandis que le raisonnement avancé et d'autres tâches spécialisées peuvent continuer à utiliser des modèles de pointe (« frontier models »). Ce modèle opérationnel hybride est conçu pour aider les clients à réduire le coût des jetons (tokens) en basculant les charges de travail appropriées vers des modèles locaux, à garder le contrôle sur le code sensible, les instructions (prompts) et les données contextuelles, à réguler la consommation d'IA via le comptage et les quotas, à préserver le choix des modèles plutôt que de dépendre d'un seul fournisseur, et à accélérer le déploiement grâce à une solution matérielle et logicielle intégrée et validée.

Les GPU AMD Instinct offrent des performances et une efficacité économique de premier plan pour l'IA générative, l'entraînement et l'inférence, combinant une architecture d'accélération haute performance avec une large capacité mémoire, une bande passante élevée et l'écosystème logiciel ouvert AMD ROCm. La configuration initiale d'AMD Instinct Coder devrait utiliser les GPU AMD Instinct MI325X. Chaque GPU MI325X dispose de 256 Go de mémoire HBM3E et d'une bande passante mémoire de pointe allant jusqu'à 6 To/s, supportant ainsi les charges de travail d'inférence IA intensives en mémoire.

AMD Instinct Coder est livré sur les systèmes GPU de Supermicro, conçus pour les charges de travail d'IA et de calcul haute performance (HPC). Supermicro propose des systèmes à huit GPU, refroidis par air ou par liquide, supportant les accélérateurs des séries AMD Instinct MI325X et MI350. Ces systèmes reposent sur une architecture modulaire conçue pour simplifier le déploiement à grande échelle. La pré-validation, l'intégration en rack et la qualification au niveau système de Supermicro visent à réduire la configuration sur site et à raccourcir le délai entre la livraison de l'infrastructure et l'utilisation en production.

La solution PaletteAI Inference Launchpad de Spectro Cloud fournit la couche logicielle pour le déploiement et l'exploitation. Elle permet aux équipes plateforme de router les requêtes entre les modèles locaux et les modèles de pointe, d'appliquer des politiques basées sur le type de charge de travail, la capacité du modèle et le coût, de mesurer la consommation de jetons et d'établir des quotas. Elle assure également la séparation des équipes et des utilisateurs via des contrôles multi-tenants, maintient l'exploitation locale des charges de travail adaptées et préserve un accès de secours aux modèles de pointe externes. La solution est conçue pour supporter une architecture d'inférence multiniveau où différents points de terminaison de modèles répondent à des exigences distinctes en matière de performance, de confidentialité et de coût.

AMD Instinct Coder sera présenté lors de l'événement Ai4 à Las Vegas, du 4 au 6 août 2026. La configuration initiale devrait s'appuyer sur les systèmes Supermicro équipés de GPU AMD Instinct MI325X. La configuration du produit, sa disponibilité, son prix et le support régional sont soumis à la validation et à l'approbation finales des partenaires.