Boîte à outils open source : évaluation et atténuation des risques d’hallucinations dans les LLM

Hassana Labs a publié une boîte à outils open source pour évaluer et atténuer les risques d’hallucinations dans les grands modèles de langage (LLM). Sans nécessiter de réentraînement du modèle, la boîte à outils exploite l’API OpenAI Chat Completions. Elle crée un ensemble d’invites affaiblies en contenu (antériorités glissantes) pour calculer une limite supérieure du risque d’hallucination à l’aide de la loi de décompression au niveau de l’espérance (EDFL). Une décision de répondre ou de refuser est prise en fonction d’un accord de niveau de service (SLA) cible. Prenant en charge les modes de déploiement basés sur les preuves et les modes fermés, la boîte à outils fournit des mesures complètes et une piste d’audit pour créer des applications LLM plus fiables.