New Relic a annoncé l'intégration de sa plate-forme aux microservices d'inférence NVIDIA NIM afin de réduire la complexité et les coûts de développement, de déploiement et de surveillance des applications d'IA générative (GenAI). Désormais, les clients peuvent utiliser la surveillance New Relic AI pour obtenir une large visibilité sur la pile d'IA pour les applications construites avec NVIDIA NIM, le tout avec une configuration simplifiée et une sécurité des données améliorée. Cela complète les solides fonctions de sécurité et la facilité d'utilisation des modèles auto-hébergés de NVIDIA NIM, qui accélèrent la livraison d'applications d'IA générative.

Ensemble, New Relic intégré à NVIDIA NIM peut aider les clients à adopter l'IA plus rapidement et à obtenir un retour sur investissement plus rapide. Les entreprises adoptent rapidement l'IA générative pour améliorer les expériences numériques, stimuler la productivité et augmenter les revenus. Gartner prévoit que plus de 80 % des entreprises utiliseront la GenAI ou déploieront des applications GenAI d'ici 2026.

Un déploiement rapide et un retour sur investissement plus rapide sont cruciaux pour les organisations afin de gagner un avantage sur le marché et l'observabilité est la clé. New Relic offre une vue étendue et en temps réel de la pile d'applications d'IA, à travers les services, l'infrastructure et la couche d'IA, afin de garantir un fonctionnement efficace, fiable et rentable. New Relic accélère le retour sur investissement des applications d'IA conçues avec NVIDIA NIM.

Les applications d'IA peuvent simplifier les piles technologiques, accroître les préoccupations en matière de sécurité et être prohibitives en termes de coûts. La surveillance de l'IA de New Relic offre une vue d'ensemble de la pile d'IA, ainsi que des mesures clés sur le débit, la latence et les coûts, tout en garantissant la confidentialité des données. Elle retrace également les flux de requêtes entre les services et les modèles pour comprendre le fonctionnement interne des applications d'IA.

New Relic étend sa surveillance approfondie à NVIDIA NIM, en prenant en charge un large éventail de modèles d'IA, notamment ?Databricks DBRX, Gemma de Google, Llama 3 de Meta, Phi-3 de Microsoft, Mistral Large et Mixtral 8x22B, et Arctic de Snowflake. Les entreprises peuvent ainsi déployer en toute confiance des applications d'IA conçues avec NVIDIA NIM, accélérer la mise sur le marché et améliorer le retour sur investissement. Les principales caractéristiques et les cas d'utilisation de la surveillance de l'IA sont les suivants : Visibilité complète de la pile d'IA : Repérez plus rapidement les problèmes grâce à une vue sur les applications, l'infrastructure basée sur le GPU NVIDIA, la couche d'IA, la qualité des réponses, le nombre de jetons et les signaux d'or de l'APM.

Des informations approfondies sur les traces pour chaque réponse : Résolvez les problèmes de performance et de qualité tels que les biais, la toxicité et les hallucinations en retraçant le cycle de vie des réponses de l'IA. Inventaire des modèles : Isolez facilement les problèmes de performances, d'erreurs et de coûts liés aux modèles en suivant les mesures clés des microservices d'inférence NVIDIA NIM en un seul endroit. Comparaison des modèles : Comparez les performances des microservices d'inférence NVIDIA NIM fonctionnant en production dans une vue unique afin d'optimiser le choix du modèle en fonction de l'infrastructure et des besoins de l'utilisateur.

Connaissances approfondies du GPU : Analysez les mesures critiques de l'informatique accélérée telles que l'utilisation du GPU, la température et les états de performance ; comprenez le contexte et résolvez les problèmes plus rapidement. Sécurité des données améliorée : En plus de l'avantage de sécurité du modèle auto-hébergé de NVIDIA, New Relic permet d'exclure la surveillance des données sensibles (PII) dans les requêtes et les réponses de l'IA. New Relic approfondit son écosystème d'intégration de plus de 60 IA avec NVIDIA Cette intégration fait suite à l'ajout récent de New Relic à l'écosystème de partenaires AIOps de NVIDIA.

En s'appuyant sur l'informatique accélérée de NVIDIA AI, New Relic associe l'observabilité et l'IA pour rationaliser les opérations informatiques et accélérer l'innovation grâce à son assistant d'apprentissage automatique et d'IA générative, New Relic AI. New Relic propose la solution d'observabilité la plus étendue avec plus de 60 intégrations d'IA, y compris les GPU NVIDIA et le logiciel NVIDIA Tritonference Server. La surveillance de l'IA de New Relic est disponible dans le cadre de sa plateforme d'observabilité tout-en-un et est proposée via son modèle de tarification basé sur l'utilisation.