Fujitsu präsentiert Technologie zur Effizienzsteigerung und Spezialisierung von KI-Modellen

Fujitsu hat eine neue Technologie zur Rekonstruktion generativer KI vorgestellt, um Modelle effizienter und genauer zu gestalten. Die Entwicklung soll eine Kernkomponente des Fujitsu Kozuchi KI-Dienstes werden und das Fujitsu Takane LLM stärken.

Die neue Technologie basiert auf zwei Hauptansätzen: der Quantisierung und einer spezialisierten KI-Destillation. Ziel ist es, die Leistung von generativen KI-Modellen erheblich zu verbessern, während gleichzeitig der Ressourcenverbrauch reduziert wird.

Quantisierung zur Reduzierung des Ressourcenbedarfs

Eine zentrale Säule ist die Quantisierung, eine Methode zur Komprimierung von Informationen, die in den neuronalen Verbindungen eines KI-Modells gespeichert sind und dessen „Denkprozess" bilden. Fujitsu erklärt, dass durch die Anwendung einer 1-Bit-Quantisierung auf sein Takane LLM der Speicherverbrauch um 94 Prozent reduziert werden konnte. Gleichzeitig soll bei der Genauigkeit ein Erhaltungsgrad von 89 Prozent im Vergleich zum unquantisierten Modell erreicht worden sein, was Fujitsu als die weltweit höchste Rate in diesem Bereich bezeichnet. Die Inferenzgeschwindigkeit, also die Zeit, die die KI für die Verarbeitung von Anfragen benötigt, soll sich dabei verdreifacht haben.

Diese Ergebnisse übertreffen laut Fujitsu die typischen Genauigkeitsraten von unter 20 Prozent, die mit herkömmlichen Quantisierungsmethoden wie GPTQ erzielt werden. Ein wesentliches Merkmal der Technologie ist die Fähigkeit, die exponentielle Akkumulation von Quantisierungsfehlern in mehrschichtigen neuronalen Netzen zu verhindern. Das wird durch einen neuen Algorithmus erreicht, der die Fehlerausbreitung über Schichten hinweg steuert. Große generative KI-Modelle, die bisher vier Hochleistungs-GPUs erforderten, sollen dadurch auf einer einzigen kostengünstigeren GPU ausführbar sein.

Spezialisierte Destillation für verbesserte Genauigkeit

Die zweite Kerntechnologie ist die spezialisierte KI-Destillation. Diese Methode soll gleichzeitig eine Gewichtsreduzierung des Modells und eine Verbesserung der Genauigkeit über das ursprüngliche KI-Modell hinaus ermöglichen. Inspiriert von der Fähigkeit des menschlichen Gehirns, sich durch Reorganisation neuronaler Schaltkreise zu spezialisieren, extrahiert diese Technologie gezielt das für spezifische Aufgaben benötigte Wissen aus einem großen, allgemeinen Modell. Das führt zur Erstellung von spezialisierten KI-Modellen, die leichter und effizienter sind.

Der Prozess umfasst die Optimierung der Modellstruktur, die Modifikation des Basis-KI-Modells (zum Beispiel durch Entfernen unnötigen Wissens und Hinzufügen neuer Fähigkeiten) und die Auswahl des optimalen Modells mittels Neural Architecture Search. Wissen wird von sogenannten „Lehrer"-Modellen wie Takane auf das ausgewählte Modell übertragen. Fujitsu gibt an, dass dies nicht nur zu einer Kompression des Modells führt, sondern auch die Genauigkeit bei spezialisierten Aufgaben im Vergleich zum ursprünglichen generativen KI-Modell steigern kann. Als Beispiel nennt das Unternehmen eine Text-QA-Aufgabe zur Vorhersage von Verkaufsergebnissen, bei der eine 11-fache Beschleunigung der Inferenz und eine 43-prozentige Genauigkeitsverbesserung erzielt wurden. Ein Modell mit nur einem Hundertstel der Parametergröße erreichte dabei eine höhere Genauigkeit als das ursprüngliche „Lehrer"-Modell. Auch bei der Bilderkennung sollen Verbesserungen erzielt worden sein, etwa eine 10-prozentige Steigerung der Genauigkeit bei der Erkennung unbekannter Objekte.

Potenzielle Anwendungen und zukünftige Pläne

Die neuen Fähigkeiten sollen die Bereitstellung von Agenten-KI auf Edge-Geräten wie Smartphones und Industriemaschinen ermöglichen. Vorteile, die daraus resultieren könnten, umfassen eine verbesserte Echtzeit-Reaktionsfähigkeit, erhöhte Datensicherheit und eine deutliche Reduzierung des Energieverbrauchs bei KI-Operationen. Das könnte einen Beitrag zu einer nachhaltigeren Nutzung von KI leisten.

Fujitsu plant, ab der zweiten Hälfte des Geschäftsjahres 2025 Testumgebungen mit der angewandten Quantisierungstechnologie für Takane weltweit anzubieten. Bereits jetzt sollen über Hugging Face quantisierte Modelle von Cohere's Command A verfügbar gemacht werden. Das Unternehmen beabsichtigt, die Forschung und Entwicklung fortzusetzen, um die Fähigkeiten generativer KI weiter zu verbessern und ihre Zuverlässigkeit zu gewährleisten.

Zukünftige Pläne umfassen die Entwicklung von leichtgewichtigen, spezialisierten Takane-basierten Agenten-KIs für verschiedene Branchen wie Finanzen, Fertigung, Gesundheitswesen und Einzelhandel. Langfristig strebt Fujitsu eine Reduzierung des Modellspeichers um das bis zu Tausendfache bei gleichbleibender Genauigkeit an, um eine allgegenwärtige, hochpräzise und schnelle generative KI zu ermöglichen. Die spezialisierten Takane-Modelle sollen sich letztendlich zu fortschrittlichen KI-Agentenarchitekturen entwickeln, die ein tieferes Weltverständnis und autonome Problemlösung ermöglichen.