NVIDIA annonce qu'elle a donné un coup de fouet à la plate-forme informatique d'IA avec l'introduction de la NVIDIA HGX H200. Basée sur l'architecture Hopper de NVIDIA, la plate-forme intègre le GPU NVIDIA H200 Tensor Core avec une mémoire avancée pour traiter des quantités massives de données pour l'IA générative et les charges de travail informatiques de haute performance. Le NVIDIA H200 est le premier GPU à proposer HBM3e ?

une mémoire plus rapide et plus grande pour accélérer l'IA générative et les modèles de langage volumineux, tout en faisant progresser l'informatique scientifique pour les charges de travail HPC. Avec HBM3e, le NVIDIA H200 offre 141 Go de mémoire à 4,8 téraoctets par seconde, soit près du double de capacité et 2,4 fois plus de bande passante par rapport à son prédécesseur, le NVIDIA A100. Les systèmes équipés de H200 des principaux fabricants de serveurs et fournisseurs de services cloud devraient commencer à être livrés au deuxième trimestre 2024.

Innovation perpétuelle, sauts de performance perpétuels : L'architecture NVIDIA Hopper offre un saut de performances sans précédent par rapport à son prédécesseur et continue à placer la barre plus haut grâce à des améliorations logicielles continues avec H100, y compris la récente publication de puissantes bibliothèques open-source comme NVIDIA TensorRT-LLM. L'introduction du H200 permettra d'améliorer encore les performances, notamment en doublant la vitesse d'inférence sur Llama 2, un LLM de 70 milliards de paramètres, par rapport au H100. Les futures mises à jour logicielles devraient permettre d'améliorer encore les performances du H200.

Facteurs de forme de la NVIDIA H200 : Le NVIDIA H200 sera disponible dans les cartes serveurs NVIDIA HGX H200 avec des configurations à quatre et huit voies, qui sont compatibles avec le matériel et le logiciel des systèmes HGX H100. Il est également disponible dans la puce NVIDIA GH200 Grace Hopper Superchip avec HBM3e, annoncée en août. Grâce à ces options, le H200 peut être déployé dans tous les types de centres de données, y compris dans les locaux, le cloud, le cloud hybride et la périphérie. NVIDIA?s global ecosystem of partner server makers ?

ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron et Wiwynn - peuvent mettre à jour leurs systèmes existants avec un H200. Amazon Web Services, Google Cloud, Microsoft Azure et Oracle Cloud Infrastructure seront parmi les premiers fournisseurs de services cloud à déployer des instances basées sur le H200 à partir de l'année prochaine, en plus de CoreWeave, Lambda et Vultr.

Alimenté par les interconnexions à haut débit NVIDIA NVLink et NVSwitch, le HGX H200 fournit des performances élevées pour diverses charges de travail, notamment la formation et l'inférence LLM pour les grands modèles de plus de 175 milliards de paramètres. Un HGX H200 à huit voies fournit plus de 32 pétaflops de calcul d'apprentissage profond FP8 et 1,1 To de mémoire agrégée à large bande passante pour des performances élevées dans les applications d'IA générative et de HPC. Associé aux CPU NVIDIA Grace dotés d'une interconnexion NVLink-C2C ultra-rapide, le H200 crée le Superchip GH200 Grace Hopper avec HBM3e ?

un module intégré conçu pour servir les applications HPC et IA à l'échelle géante. Accélérez l'IA avec les logiciels complets de NVIDIA : La plate-forme de calcul accéléré de NVIDIA est soutenue par de puissants outils logiciels qui permettent aux développeurs et aux entreprises de créer et d'accélérer des applications prêtes à la production, de l'IA au HPC. Cela inclut la suite logicielle NVIDIA AI Enterprise pour des charges de travail telles que la parole, les systèmes de recommandation et l'inférence à grande échelle.

Disponibilité : Le NVIDIA H200 sera disponible auprès des fabricants de systèmes mondiaux et des fournisseurs de services cloud à partir du deuxième trimestre 2024.