Neuer KI-Index v5: Offene Modelle aus China verlieren stark

Ausgangslage

Der unabhängige Testdienst Artificial Analysis hat die Version 5 seines Intelligence Index veröffentlicht. Dieser Index gilt als eines der wichtigsten Rankings für KI-Modelle. Die neueste Version bringt erhebliche Änderungen mit sich, insbesondere durch die verstärkte Nutzung geheimer Testdaten.

Die Veröffentlichung des Intelligence Index v5 markiert einen bedeutenden Meilenstein in der Bewertung von KI-Modellen. Artificial Analysis, bekannt für seine unabhängigen und umfassenden Tests, hat mit dieser Version den Rahmen für die Bewertung von KI-Modellen neu definiert. Die verstärkte Nutzung geheimer Testdaten soll sicherstellen, dass die Ergebnisse nicht durch gezieltes Hintraining beeinflusst werden können.

Hintergrund

Der Intelligence Index v5 basiert zu rund 60 Prozent auf privaten Testsätzen oder zurückgehaltenen Antworten. Dies soll verhindern, dass Modelle auf bekannte Testfragen hintrainiert werden. Der Index umfasst vier gleich gewichtete Bereiche, wobei einige bekannte Tests, darunter SciCode und GDPval-AA, entfernt wurden.

Die Entscheidung, rund 60 Prozent des Index auf geheime Testdaten zu stützen, ist eine Reaktion auf die zunehmende Komplexität und Vielfalt der KI-Modelle. Die neuen Tests stellen höhere Anforderungen an die Modelle, was zu erhöhten Kosten für deren Durchführung führt. Dies könnte langfristig die Entwicklung und den Einsatz von KI-Modellen beeinflussen, insbesondere für Unternehmen mit begrenzten Budgets.

Einordnung für die Schweiz

Die Ergebnisse des Index zeigen, dass proprietäre Modelle weiterhin die Spitze dominieren, während offene Modelle aus China deutlich abfallen.

Für die Schweiz, die sich als führend in der KI-Forschung und -Entwicklung positionieren möchte, sind die Ergebnisse des Index v5 von grosser Bedeutung. Die Schweizer Wirtschaft, insbesondere die KMU, sollte die Ergebnisse des Index nutzen, um fundierte Entscheidungen bei der Auswahl von KI-Modellen zu treffen.

Was das für Unternehmen bedeutet

Unternehmen, die auf KI setzen, sollten die Ergebnisse des neuen Index sorgfältig analysieren. Die verstärkte Nutzung geheimer Testdaten macht es schwieriger, die Leistung der Modelle unabhängig zu überprüfen. Dies könnte die Entscheidung für oder gegen bestimmte KI-Modelle beeinflussen.

Ausblick

Die Zukunft der KI-Tests wird wahrscheinlich noch stärker auf Geheimhaltung setzen. Dies könnte die Entwicklung offener Modelle erschweren, da diese nicht auf bekannte Testfragen hintrainiert werden können. Unternehmen sollten sich auf eine zunehmende Fragmentierung des KI-Marktes einstellen.

Einordnung

Der Intelligence Index v5 von Artificial Analysis markiert einen wichtigen Schritt in der Bewertung von KI-Modellen. Die verstärkte Nutzung geheimer Testdaten soll die Glaubwürdigkeit der Ergebnisse erhöhen, macht es jedoch schwieriger, die Leistung der Modelle unabhängig zu überprüfen.