Open-Source-Toolkit: Bewertung und Minderung des Halluzinationsrisikos in LLMs
Hassana Labs hat ein Open-Source-Toolkit zur Bewertung und Minderung des Halluzinationsrisikos in großen Sprachmodellen (LLMs) veröffentlicht. Ohne erneutes Training des Modells nutzt das Toolkit die OpenAI Chat Completions API. Es erstellt ein Ensemble inhaltsabgeschwächter Prompts (rollende Priors), um eine obere Schranke für das Halluzinationsrisiko mithilfe des Erwartungswert-Dekompressionsgesetzes (EDFL) zu berechnen. Eine Entscheidung, zu antworten oder zu verweigern, wird basierend auf einer Ziel-SLA (Service Level Agreement) getroffen. Das Toolkit unterstützt sowohl evidenzbasierte als auch geschlossene Bereitstellungsmodi und bietet umfassende Metriken und eine Audit-Trail für die Erstellung zuverlässigerer LLM-Anwendungen.