Peter Dümig, Senior Server Product Manager bei Dell Technologies in Deutschland, hat einen Kommentar zu KI veröffentlicht.
GenAI-Tools begeistern mit generativen Fähigkeiten und viele Unternehmen wollen diese im Geschäftsalltag nutzen. Schaut man sich die hinter solchen Tools stehenden Large Language Models an, kennt die Entwicklung nur eine Richtung – immer größer. Mehr Parameter und Trainingsdaten sorgen für ein besseres Sprachverständnis und wachsendes Wissen, sodass leicht der Eindruck entstehen kann, bei generativer KI käme es allein auf die Größe der Sprachmodelle an. So einfach ist es allerdings nicht, denn mit der Modellgröße nimmt auch der Bedarf an Rechenleistung und damit der Stromverbrauch zu – und das sowohl beim Training und Fine-Tuning als auch beim anschließenden Betrieb der KI. Zudem bringen die Verbesserungen des Modells oft keinen oder nur einen geringen geschäftlichen Nutzen, sodass sich die Investitionen in leistungsstärkere Hardware und zusätzlichen Strom kaum auszahlen.
Vielen Unternehmen ist nicht bewusst, dass sie mit kleineren Modellen und weniger Daten oft besser beraten wären. Daher schaffen sie entweder überdimensionierte Hardware an oder verzögern ihre KI-Initiativen, weil sie die Kosten scheuen. In beiden Fällen wäre eine vorherige Beratung durch einen erfahrenen IT-Dienstleister sinnvoll, der bei der Auswahl geeigneter Modelle, Trainingsdaten und Systemen unterstützt. Schließlich kommt es in den meisten Anwendungsfällen gar nicht so sehr auf das extrem breite Allgemeinwissen von Large Language Models an, sondern eher auf unternehmens- oder fachspezifisches Knowhow. Dieses können Unternehmen einem kleineren Modell mittels Fine-Tuning beibringen oder via Retrieval Augmented Generation (RAG) zum Nachschlagen zur Verfügung stellen.
Geschickt ausgewählte Datensätze und Dokumente sorgen dafür, dass das Modell beim Fine-Tuning nicht mit nutzlosen Informationen überfrachtet wird und die Hardware-Anforderungen überschaubar bleiben. Gerade anfangs reicht oft eine leistungsstarke Workstation. Setzen Unternehmen dann auf validierte Designs sparen sie sich aufwendige Integrationen und Tests und können sich darauf verlassen, dass die Systeme gut skalieren und bei Bedarf mitwachsen.
Überhaupt sollten Unternehmen beim KI-Einstieg nicht gleich den ganz großen Wurf versuchen, sondern sich zunächst auf kleinere Projekte fokussieren. Selbst wenn diese Tools nur eine überschaubare Zeitersparnis bringen, summiert sich das bei regelmäßiger Nutzung rasch auf und hilft den Mitarbeitern enorm. Zudem lassen sich entsprechende Initiativen deutlich schneller, kostengünstiger und risikoärmer umsetzen als Mega-Projekte, sodass Erfolgserlebnisse nicht lange auf sich warten lassen.
Solche nützlichen Tools, die auf kleinen Modellen basieren, laufen in der Regel problemlos auf Standardrechnern – zumal diese inzwischen meist mit speziellen Komponenten wie NPUs für die Verarbeitung natürlicher Sprache oder für Bildanalysen ausgestattet sind und KI-Berechnungen sehr effizient durchführen können. Damit lohnt der Griff zum kleineren Modell gleich doppelt, sei es durch das ressourcenschonende Training und Fine-Tuning der Modelle oder durch das flotte Ausführen der GenAI-Anwendungen.
Natürlich gibt es auch Anwendungsfälle, die nach Large Language Models mit mehreren hundert Milliarden Parametern und einem Fine-Tuning mit riesigen internen Datenmengen verlangen. Doch die können Unternehmen auch später angehen, wenn sie Erfahrungen in kleineren Projekten gesammelt haben. Bei denen geht es im Grunde vor allem darum, Modell und Trainingsdaten so auszuwählen, dass sie umfangreich genug sind, um die gewünschten Ergebnisse zu liefern – aber eben auch nicht größer, um die Kosten nicht unnötig in die Höhe zu treiben.
