Datadog, Inc. a annoncé de nouvelles fonctionnalités qui aident les clients à surveiller et à résoudre les problèmes dans leurs applications génératives basées sur l'IA. Les fonctions génératives basées sur l'IA, telles que les assistants d'IA et les copilotes, deviennent rapidement une partie importante de toutes les feuilles de route des produits logiciels. Bien que ces capacités émergentes soient très prometteuses, leur déploiement dans des applications en contact direct avec la clientèle pose de nombreux défis, notamment en termes de coût, de disponibilité et de précision.

Les piles technologiques utilisées dans l'IA générative évoluent rapidement, tandis que de nouveaux cadres d'application, modèles, bases de données vectorielles, chaînes de services et technologies d'appui sont rapidement adoptés et utilisés. Pour rester dans la course, les entreprises ont besoin de solutions d'observabilité capables de s'adapter et d'évoluer en même temps que les piles d'IA. Aujourd'hui, Datadog a annoncé un large ensemble de capacités d'observabilité générative de l'IA pour aider les équipes à déployer des applications basées sur le LLM en production en toute confiance et les aider à dépanner la santé, le coût et la précision en temps réel.

Ces capacités comprennent des intégrations pour la pile d'IA de bout en bout : Infrastructure et calcul de l'IA : NVIDIA, CoreWeave, AWS, Azure et Google Cloud Embeddings et gestion des données : Weaviate, Pinecone et Airbyte ; Service et déploiement de modèles : Torchserve, VertexAI et Amazon Sagemaker ; couche de modèle : OpenAI et Azure OpenAI ; cadre d'orchestration : LangChain ; En outre, Datadog a lancé en version bêta une solution complète pour l'observabilité LLM, qui rassemble des données provenant d'applications, de modèles et de diverses intégrations pour aider les ingénieurs à détecter et à résoudre rapidement les problèmes d'application réels tels que les pics de coûts de modèle, les dégradations de performances, les dérives, les hallucinations et plus encore, afin de garantir des expériences positives pour l'utilisateur final. L'observabilité LLM comprend Catalogue de modèles : Surveillez et alertez sur l'utilisation du modèle, les coûts et la performance de l'API ; Performance du modèle : Identifiez les problèmes de performance du modèle en fonction des différentes caractéristiques de données fournies, telles que la longueur des invites et des réponses, les latences de l'API et le nombre de jetons ; Dérive du modèle : Catégorisation des invites et des réponses en groupes permettant le suivi des performances et la détection des dérives au fil du temps.