Model-Routing: Wie Unternehmen KI-Kosten drastisch senken wollen

Unternehmen in den USA stehen vor explodierenden KI-Rechnungen und suchen nach Wegen, ihre Ausgaben zu optimieren. Die bisherige Strategie, standardmäßig die teuersten und leistungsstärksten KI-Modelle – sogenannte Frontier-Modelle – für alle Anfragen zu nutzen, gerät zunehmend unter Druck. Finanzvorstände und Aufsichtsräte fordern nun mehr Effizienz. Eine Lösung zeichnet sich ab: das sogenannte Model-Routing.

Model-Routing ist ein Werkzeug, das Aufgaben automatisch dem jeweils passenden KI-Modell zuweist. Komplexe Probleme werden dabei an teure Frontier-Modelle weitergeleitet, während einfache Anfragen günstigere und schnellere Alternativen übernehmen. Scott Wu, CEO von Cognition – dem Entwickler des KI-Programmierassistenten Devin –, erklärte gegenüber CNBC, dass die Effizienzgewinne bei Routineaufgaben enorm seien. Bei vielen Standardaufgaben könnten Unternehmen eine fünf- bis zehnmal bessere Kosteneffizienz erzielen, wenn sie Modelle einsetzen, die für die jeweilige Aufgabe immer noch gut genug sind.

Das Ausmaß der KI-Ausgaben

Wie groß das Problem tatsächlich ist, verdeutlicht eine Kalkulation von Jeetu Patel, Chief Product Officer bei Cisco. Bei einer Token-Nutzung von rund 200 US-Dollar pro Mitarbeiter und Woche entstehen Kosten von etwa 10.000 US-Dollar pro Person und Jahr. Für ein Unternehmen mit 90.000 Mitarbeitern summiert sich das auf jährliche Ausgaben von 900 Millionen US-Dollar. Token sind dabei die Dateneinheiten, die KI-Modelle zur Informationsgenerierung nutzen – die Abrechnung erfolgt auf Basis der Anzahl verarbeiteter Token.

Patel gab zu, dass Cisco das eigene Budget bereits deutlich überschritten habe und Anpassungen vornehmen musste. Hintergrund: Mittlerweile entwickeln 30.000 Cisco-Ingenieure Produkte, die weitgehend mit KI geschrieben werden. Das Unternehmen hat daraufhin Ressourcen umverteilt und Token-Ausgaben gegenüber anderen Investitionen priorisiert.

Trotz dieser Herausforderungen ist Model-Routing in der Praxis noch kaum verbreitet. Arvind Jain, CEO des Unternehmens Glean, schätzt, dass rund 95 Prozent der KI-Nutzung in Unternehmen nach wie vor über die teuersten Frontier-Modelle abgewickelt wird – selbst bei Aufgaben, die günstigere Alternativen problemlos bewältigen könnten. Wu veranschaulichte dies mit einem einfachen Beispiel: Die Frage nach dem dritten US-Präsidenten wird jedes Modell, egal wie teuer, mit Thomas Jefferson beantworten.

Folgen für OpenAI und Anthropic

Die Entwicklung hat weitreichende Konsequenzen für die führenden KI-Anbieter. Sollten Unternehmen einfache, volumenstarke Aufgaben zunehmend an günstigere Open-Source-Modelle delegieren, würden OpenAI und Anthropic nicht mehr für jede Anfrage bezahlt. Sie erhielten dann nur noch die komplexeren und anspruchsvolleren Aufträge. Beide Unternehmen haben ihre Geschäftsmodelle und die damit verbundenen Erwartungen an einen Börsengang auf der Annahme einer enormen Nachfrage zu Premiumpreisen aufgebaut.

Patel glaubt zwar nicht, dass dies die führenden KI-Labore grundlegend gefährdet, sieht jedoch eine klare Verschiebung des Preismodells. Die Labore würden effizienter in der Nutzung ihrer Modelle werden müssen, anstatt einfach nur die Preise zu erhöhen. Die Preismacht verschiebt sich damit von den Unternehmen, die Premium-KI verkaufen, hin zu den Unternehmen, die sie kaufen.

Neue Ansätze bei der ROI-Messung

Parallel zur Kostendebatte rückt auch die Frage nach dem tatsächlichen Mehrwert von KI-Investitionen in den Vordergrund. Cognition kündigte eine sogenannte KI-Produktivitätsgarantie an: Sollte Devin weniger technischen Mehrwert liefern, als der Kunde bezahlt, übernimmt Cognition die Nutzungskosten bis zu einer Höhe von 10 Millionen US-Dollar, bis das vereinbarte Leistungsniveau erreicht ist.

Wu bezeichnete dies als einen Weg, um bei der Kapitalrendite – dem Return on Investment – mehr Klarheit zu schaffen. Anstatt Aktivitäten wie verbrauchte Token oder geschriebene Codezeilen zu messen, schätzt Cognition die Anzahl der tatsächlich eingesparten menschlichen Arbeitsstunden und hinterlegt diese Schätzung mit einer Rückerstattungszusage. "Man kann Milliarden von Token verbrauchen, ohne damit etwas zu erreichen", sagte Wu. Unternehmen sollten nach Ergebnissen streben, nicht nach reiner Aktivität.

Die entscheidende Frage für die gesamte Branche lautet nun: Wie groß ist der Marktanteil jener Aufgaben, die tatsächlich Frontier-Modelle erfordern? Die Antwort darauf könnte maßgeblich die Bewertungen der führenden KI-Unternehmen bestimmen – und damit auch die Aussichten auf milliardenschwere Börsengänge in den kommenden Jahren.