Hallucinations

Halluzinationen entstehen aus der Funktionsweise von Large Language Models. Ein LLM ist darauf trainiert, plausible Folgewörter zu generieren, nicht darauf, wahre Aussagen zu treffen. Wenn ihm konkretes Wissen fehlt, generiert es trotzdem eine Antwort, die sprachlich überzeugend aber inhaltlich falsch ist. Beispiele reichen von erfundenen Buchtiteln über falsche Zahlen bis zu erfundenen rechtlichen Bestimmungen.

In Produktdaten-Anwendungen sind Halluzinationen besonders riskant. Ein Modell, das einen Produkttext mit falschen technischen Daten oder erfundenen Features generiert, kann massiven Schaden anrichten: Reklamationen, Rücksendungen, regulatorische Probleme. Halluzinationen müssen daher in produktiven KI-Pipelines aktiv verhindert werden.

Pimcore reduziert Halluzinationen durch architektonisches Design. KI-Funktionen arbeiten auf der Data Spine als Faktengrundlage, statt aus Modell-Wissen heraus zu generieren. Der Agent SDK nutzt Retrieval Augmented Generation: Bevor das Modell antwortet, holt es relevante Daten aus PIM und MDM und nutzt diese als Kontext. Workflow-Stufen mit menschlicher Freigabe fangen Restrisiken ab.