Niemand muss eine ganze Bibliothek durchlesen, um eine bestimmte Frage zu beantworten. Man muss nur wissen, wo man suchen muss. Nach diesem Prinzip ließe sich auch KI durch Kompressionstechniken und kleinere Modelle um bis zu 90 Prozent effizienter machen. Zu diesem Ergebnis kommen Forschende der Universität des Saarlandes.
Rechenzentren verbrauchen riesige Mengen an Energie, die durch den Einzug von KI und GenAI noch weiter gewachsen sind. Laut Bitkom hat sich der Strombedarf deutscher Rechenzentren so innerhalb eines Jahrzehnts mehr als verdoppelt – Tendenz stark steigend.
Besonders KI erweist sich dabei als Stromfresser. Es wird daher nicht nur darauf ankommen, mehr Energie zu erzeugen, um den Hunger zu stillen. Mindestens ebenso wichtig wird es sein, energieeffizientere Hardware und Algorithmen zu entwickeln.
Das Training von KI-Modellen wie ChatGPT ist besonders rechen- und energieintensiv und verbraucht Terawattstunden an Strom. Gleiches gilt auch für das KI-generierte Erstellen von Texten und Bildern. Bei wachsendem Bedarf wird es nötig sein, immer mehr und immer größere Rechenzentren zu bauen, die entsprechend viel Kühlung erfordern und für einen höheren CO2-Ausstoß verantwortlich sind, was die EU-Ziele torpedieren dürfte, bis 2050 klimaneutral zu werden.
Kleinere Modelle sind genügsamer
Einen neuen Ansatz, um KI erheblich energieeffizienter zu machen, verfolgen Professor Wolfgang Maaß von der Universität des Saarlandes und dem Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) sowie zwei Kolleginnen. Das Team wurde ausgewählt, um auf dem Stand des Bundesministeriums für Wirtschaft und Klimaschutz auf der Hannover Messe Ende März und Anfang April 2025 ihre Forschungsarbeiten vorzustellen.
Um den Energiehunger von KI einzudämmen und Ressourcen zu schonen, arbeitet das Forschungsteam daran, schlankere, bedarfsgerechtere KI-Modelle zu entwickeln. „Indem wir die Modelle kleiner und effizienter machen, tragen wir zum einen zu mehr Nachhaltigkeit bei. Zum anderen öffnet dies gerade auch mittelständischen und kleineren Unternehmen Zugang zu leistungsfähigen KI-Modellen“, zitiert der Mittelstands-Blog das Teammitglied Sabine Janzen.
„Die kleineren KI-Modelle bedürfen keiner großen Infrastruktur mehr. Sie werden damit für alle zugänglich und nicht nur für die großen Player“, sagt die promovierte Wissenschaftlerin. Weiter erklärt sie den Ansatz ihres Forschungsteams so: „Wir arbeiten dabei unter anderem mit sogenannter Wissensdestillation. Das ist eine Art Kompressionstechnologie, mit der wir die Modelle kleiner machen. Bei vergleichbarer Leistung verbrauchen KI-Modelle hierdurch weit weniger Energie.“
Gewusst wo, statt alles zu wissen
Der Ansatz der Forschenden im Saarland und in Kaiserslautern: Man muss eben nicht eine ganze Bibliothek lesen, um Antworten auf bestimmte Fragen zu erhalten. Es reicht, nur die Bücher mit den passenden Antworten zu lesen – nach dem Motto „gewusst wo“.
Sie extrahieren dazu aus großen „Lehrermodellen“ kleine, fokussierte und sparsame „Schülermodelle“, um so nur das nötige Wissen für einen bestimmten Aufgabenbereich herauszudestillieren und auf das Wesentliche zu reduzieren. Somit wäre es möglich, Sprach- und Datenmodelle um bis zu 90 Prozent zu verschlanken.
„Diese Schülermodelle bringen vergleichbare Leistung, kommen aber perspektivisch mit bis zu 90 Prozent weniger Energie aus“, so Janzen. Besonders bei visuellen KI-Modellen, also solchen für die Verarbeitung von Bildern, habe man schon gute Ergebnisse erzielt, um mit der Methode der „neuronalen Architektursuche“ Energie zu sparen.
Einsatz in der Praxis zeigt erste Erfolge
Dabei hat sich das Forschungsteam auf das besonders energieintensive Machine Learning mit neuronalen Netzen konzentriert. Die sonst nötige aufwendige Handarbeit wird hier automatisiert, um der KI zu helfen, jeweils selbst die beste Architektur zu finden. „Wir probieren dabei verschiedene Netzstrukturen aus und optimieren diese, um ein Modell mit hoher Leistung, Effizienz und reduzierten Kosten zu erstellen“, so Janzen.
Für den Praxistest arbeitet das Team um Maaß und Janzen mit der Stahl Holding Saar zusammen. Die Aufgabe besteht darin, den künstlichen neuronalen Netzen beizubringen, Stahlschrott so zu sortieren, dass nur der recyclebare Teil für die Produktion hochwertiger Stähle übrigbleibt.
Zusammen mit Partnern arbeitet das Saarbrücker Team auch an einem Konzept mit „Handlungsempfehlungen für nachhaltige Rechenzentren und energieeffiziente KI“ sowie an einem „Werkzeug, das zuverlässige Prognosen ermöglicht, wie der genaue Energieverbrauch und die zusammenhängenden Kosten der KI-Modelle aussehen werden“, wie die Doktorandin Hannah Stein erläutert. Entscheider sollen so besser abschätzen können, welche Modelle wie viel Energie verbrauchen.