New Relic a annoncé la disponibilité générale de New Relic AI Monitoring avec une suite de nouvelles fonctionnalités puissantes pour répondre aux besoins évolutifs des organisations qui développent des applications d'IA. Les nouvelles fonctionnalités comprennent des informations approfondies sur le suivi des réponses de l'IA avec un retour d'information de l'utilisateur en temps réel et une comparaison des modèles pour aider à améliorer continuellement les performances, la qualité et le coût des applications d'IA, tout en garantissant la sécurité et la confidentialité des données. Avec plus de 60 intégrations, la surveillance de l'IA de New Relic est l'une des solutions les plus complètes qui aide les organisations à trouver plus rapidement la cause première des problèmes des applications d'IA, à favoriser leur adoption de l'IA et à les soutenir à chaque étape de leur parcours en matière d'IA.

Les entreprises sont impatientes d'adopter l'IA pour offrir de meilleures expériences numériques à leurs clients. Selon Gartner, plus de 80 % des entreprises auront utilisé des API d'IA générative ou déployé des applications d'IA générative d'ici 2026. Bien que la demande d'IA soit forte et croissante, les entreprises ont du mal à intégrer l'IA dans leurs piles technologiques en raison de la complexité qu'elle introduit.

La surveillance de l'IA de New Relic relève directement ce défi et permet aux entreprises de gérer facilement les complexités de leur pile d'IA en fournissant une vue unifiée de l'ensemble de leur écosystème d'IA avec le reste de leurs données de performance. Les principales fonctionnalités sont les suivantes : Auto instrumentation : Les agents New Relic permettent de configurer facilement des frameworks populaires comme OpenAI, AWS Bedrock et LangChain dans les langages Python, Node.js, Ruby, Go et .NET. Visibilité complète de la pile d'IA : vue holistique de l'application, de l'infrastructure et de la couche d'IA, y compris des mesures d'IA telles que le nombre de requêtes, le temps de réponse et l'utilisation de jetons.

Vue de la réponse de l'IA avec le retour d'information de l'utilisateur final : Identifiez rapidement les tendances et les valeurs aberrantes dans les réponses de l'IA, analysez le sentiment et consultez les commentaires des utilisateurs dans une vue consolidée unique. Des informations approfondies sur la traçabilité de chaque réponse : Suivez le cycle de vie des réponses de l'IA avec des outils tels que LangChain pour résoudre les problèmes de performance et de qualité tels que les biais, la toxicité et les hallucinations. Amélioration de la sécurité des données : Maintenez les politiques de sécurité et de conformité de votre organisation en excluant de la surveillance les données sensibles (PII) contenues dans les requêtes et les réponses de l'IA.

Comparaison des modèles : Comparez les performances et les coûts des modèles fondamentaux fonctionnant en production dans une vue unique pour choisir le modèle qui répond le mieux à vos besoins. Intégrations rapides : L'une des solutions les plus complètes pour la surveillance de l'écosystème de l'IA avec 60 intégrations pour des composants critiques comme les GPU NVIDIA et les bases de données vectorielles comme Pinecone, Weaviate et plus encore. La surveillance de l'IA de New Relic est généralement disponible dans le cadre de sa plateforme d'observabilité tout-en-un et proposée dans le cadre de son modèle de tarification basé sur l'utilisation.

Pour commencer, contactez un représentant New Relic ou inscrivez-vous pour obtenir un compte gratuit.