Cloudflare, Inc. a annoncé que son réseau mondial allait déployer des GPU NVIDIA à la périphérie, associés à des commutateurs Ethernet NVIDIA, pour mettre la puissance de calcul d'inférence de l'IA à la portée des utilisateurs du monde entier. Il sera également équipé du logiciel d'inférence complet de NVIDIA, comprenant NVIDIA TensorRT-LLM et NVIDIA Triton Inference Server, pour accélérer encore les performances des applications d'IA, y compris les modèles de langage volumineux.

Tous les clients de Cloudflare peuvent accéder à la puissance de calcul locale pour fournir des applications et des services d'IA en utilisant une infrastructure rapide et plus conforme. Avec cette annonce, les organisations seront en mesure d'exécuter des charges de travail d'IA à l'échelle, et de payer pour la puissance de calcul en fonction des besoins, pour la première fois grâce à Cloudflare. L'inférence de l'IA est la façon dont l'utilisateur final expérimente l'IA et devrait dominer les charges de travail de l'IA.

Les organisations ? ont une forte demande en GPU. Cloudflare, avec des centres de données dans plus de 300 villes à travers le monde, peut fournir des expériences rapides aux utilisateurs et respecter les réglementations mondiales en matière de conformité.

Cloudflare permettra à n'importe quelle organisation dans le monde de commencer à déployer des modèles d'IA - alimentés par les GPU NVIDIA, les réseaux et les logiciels d'inférence - sans avoir à se soucier de la gestion, de la mise à l'échelle, de l'optimisation ou de la sécurisation des déploiements.

Cloudflare rend l'inférence générative de l'IA accessible à l'échelle mondiale, sans coûts initiaux. En déployant des GPU NVIDIA sur son réseau périphérique mondial, Cloudflare fournit désormais : Des expériences d'IA générative à faible latence pour chaque utilisateur final, avec des GPU NVIDIA disponibles pour les tâches d'inférence dans plus de 100 villes d'ici la fin 2023, et presque partout où le réseau de Cloudflare s'étend d'ici la fin 2024. Accès à la puissance de calcul à proximité de l'endroit où résident les données des clients, afin d'aider ces derniers à anticiper les exigences potentielles en matière de conformité et de réglementation qui sont susceptibles de se présenter.

Une puissance de calcul abordable et payante à l'échelle, pour que chaque entreprise puisse accéder aux dernières innovations en matière d'IA - sans avoir à investir massivement au départ pour réserver des GPU qui risquent de rester inutilisés.