Unsere KPIs dienen nicht dem Marketing, sondern der realistischen Einordnung der Ergebnisqualität. Sie zeigen transparent, wie gut das KI-System seine Aufgabe tatsächlich erfüllt – nachvollziehbar, erklärbar und über den Zeitverlauf vergleichbar.

Welche KPIs sinnvoll sind, hängt vom konkreten Use Case ab. Deshalb empfehlen wir die passenden Kennzahlen, begründen ihre Auswahl und erklären, was sie fachlich bedeuten. Dies können beispielsweise sein:

• Prognosegüte: Wie nah die KI am erwarteten oder bekannten Ergebnis liegt.
  Beispiele: R², MAE (Mean Absolute Error), RMSE, MAPE, Accuracy
• Fehlertypen und Fehlverteilung: Welche Arten von Fehlern auftreten und welche davon im Geschäftsprozess kritisch oder tolerierbar sind.
  Beispiele: Confusion Matrix, False Positives / False Negatives, Precision, Recall, F1-Score
• Model Drift: Erkennung von Veränderungen in Daten oder Mustern, die dazu führen, dass das Modell schleichend an Aussagekraft verliert.
  Beispiele: Data Drift, Prediction Drift, Population Stability Index (PSI), Feature-Shift
• Antwortqualität bei Agenten: Bewertung der fachlichen Korrektheit, Quellenbindung und Zielerreichung von Antworten.
  Beispiele: Mean Reciprocal Rank (MRR), Retrieval Precision / Recall (R-P / R-R), Context Coverage (CC), Groundedness Score (GS), Hallucination Rate (HR), Task Success Rate (TSR).
• Einsparungen: Welche Auswirkungen die KI-Ergebnisse auf Kosten, Durchlaufzeiten, Risiken oder Erlöse haben.
  Beispiele: Zeitersparnis pro Vorgang, Reduktion manueller Prüfungen, vermiedene Fehlerkosten, Automatisierungsquote‍
• Kosten–Leistungs-Verhältnis: Verhältnis zwischen Rechenaufwand, Laufzeit, Infrastrukturkosten und erreichter Modellleistung.
  Beispiele: Inferenzkosten pro Vorhersage, Latenzzeiten, Performance pro Euro Cloud-Kosten