Canary Deployments sind eine kontrollierte Form der Einführung neuer Modellversionen. Statt ein neues KI-Modell sofort für alle Anfragen zu aktivieren, wird es zunächst nur für einen kleinen Teil des Traffics eingesetzt.

So kann im realen Betrieb beobachtet werden, wie sich die neue Version im Vergleich zur bisherigen verhält. Leistungskennzahlen, Fehlerraten oder fachliche Ergebnisse werden dabei eng überwacht. Wenn die neue Version stabil läuft, wird ihr Anteil schrittweise erhöht. Treten Probleme auf, kann sofort zur vorherigen Version zurückgekehrt werden.