Prof. Dr. Sepp Hochreiter – KI-Pionier und Erfinder des LSTM
Den vollständigen Vortrag finden Sie auf YouTube:
Prof. Dr. Sepp Hochreiter, geboren 1967 in Mühldorf am Inn, leitet an der Johannes Kepler Universität Linz das Institut für Machine Learning und das AI Lab. Seit Februar 2024 ist er Chief Scientist bei NXAI. In diesem Gespräch mit Prof. Dr. Eduard Heindl teilt er Einblicke in seine Pionierarbeit bei neuronalen Netzen, insbesondere der Entwicklung von LSTM (Long Short-Term Memory), und diskutiert aktuelle Fortschritte wie xLSTM sowie die Zukunft der KI. Das Gespräch beleuchtet den Übergang von akademischer Forschung zu industriellen Anwendungen und berührt Themen wie Energieeffizienz und gesellschaftliche Implikationen.
Der Einstieg in die KI und die Erfindung von LSTM
Hochreiter begann sein Informatikstudium an der TU München 1987, zu einer Zeit, als KI noch kein großes Thema war. Er fand klassische Informatikthemen wie Sortieralgorithmen langweilig und wandte sich neuronalen Netzen zu, betreut von Jürgen Schmidhuber. In seiner Diplomarbeit entwickelte er LSTM, um das Problem des "vanishing gradients" in rekurrenten Netzen zu lösen. Dies ermöglichte es, Informationen über längere Zeiträume zu speichern.
Ein illustratives Zitat von Hochreiter: "Ich habe ein neuronales Netz gebaut... und habe ich gesehen, der Gradient... je weiter das zurückgeht in die Zeit, umso kleiner wird der Gradient." Diese Erkenntnis führte zur Memory Cell, die Gradienten konstant hält und Netze für sequentielle Daten wie Sprache oder Zeitreihen geeignet macht. LSTM war bis 2017 in Geräten wie Smartphones für Spracherkennung integriert, bevor Transformer-Modelle übernahmen.
Vom LSTM zu Transformer und xLSTM
Der Übergang zu Transformern erfolgte 2017 mit dem Paper "Attention is All You Need". Transformer parallelisieren besser, was Skalierung ermöglicht, aber LSTM war Vorreiter, z.B. in ELMo, dem ersten Large Language Model. Hochreiter entwickelte xLSTM, um LSTM skalierbar zu machen: "Es geht genauso gut, aber es ist viel schneller... wir sind dann auf zehn mal schneller."
xLSTM kombiniert LSTM mit Attention, ist energieeffizienter und linear in der Komplexität, im Gegensatz zur quadratischen von Transformern. Es eignet sich für Zeitreihen-Foundation-Modelle, die Zeitreihen vorhersagen, ohne Neulernen. Hochreiter betont Vorteile wie State-Tracking: "Der Transformer hat kein Gedächtnis... das LSTM kann im Gedächtnis einfach speichern. Das System ist in dem Zustand."
Anwendungen in Industrie und Zeitreihenanalyse
LSTM und xLSTM finden Anwendung in Zeitreihen, z.B. Aktienkursen, Wettervorhersagen oder Maschinenwartung. Hochreiter: "Zeitreihen kommen in Industrie überall vor... da ist LSTM immer besser gewesen." Bei NXAI entstand ein Zeitreihen-Foundation-Modell mit 50 Millionen Zeitreihen, das Prognosen ohne Retraining liefert.
In der Hydrologie speichert xLSTM Systemzustände wie Wasserspeicherung in Schnee oder Boden. Ähnlich in Robotik: Es merkt Positionen, im Gegensatz zu Transformern, die alles neu berechnen. Dies macht KI energieeffizienter für Edge-Computing in Drohnen oder Maschinen.
KI-Winter, Deep Learning und Skalierung
Hochreiter reflektiert über KI-Phasen: Nach LSTM (1991) kam ein "KI-Winter", wo Support Vector Machines dominierten. Deep Learning startete 2006 mit Geoffrey Hinton, der den Nobelpreis erhielt. Skalierung ermöglichte Große Modelle mit Milliarden Parametern, aber Hochreiter warnt: "Die meisten der besten Lösungen für neuronale Netze sind unentdeckt... weil wir immer den Fehler verbessern müssen."
Er plädiert für Industrialisierung: KI muss kleiner, spezialisiert und effizient werden. Europa fehlt Infrastruktur, aber durch Innovation kann Anschluss gefunden werden. Mentale Unterschiede: In den USA gründet man Startups, in Europa strebt man Professuren an.
Zukunft: Kreativität, Bewusstsein und Ethik
KI fehlt Kreativität: "Es wurde jeder Kreativität beraubt, weil es hat genauso wie Beethoven sein müssen." Bewusstsein entsteht automatisch in komplexen Weltmodellen. Für Ethik: Mensch bleibt im "Fahrersitz", da KI keine Empathie hat. Gefahren: Manipulation in Medien oder Verantwortungsabgabe.
Hochreiter rät zu diversen Quellen gegen Filterblasen. Simulationen mit KI erkennen Makrostrukturen, z.B. in Physik oder Prozessen wie Weizenkorn-Interaktionen, und ermöglichen effiziente Modelle.
Abschluss und Ausblick
Das Gespräch endet mit Optimismus für Europas KI-Rolle durch Industrialisierung. Hochreiter betont Durchlässigkeit zwischen Uni und Industrie.
Sie finden alle Videos unter:
https://energiespeicher.blogspot.com/p/energiegesprache-mit-eduard-heindl.html
Stichworte: LSTM, künstliche Intelligenz, Transformer, Zeitreihen, Bewusstsein
