Prof. Dr. Sepp Hochreiter

Prof. Dr. Sepp Hochreiter – KI-Pionier und Erfinder des LSTM

Den vollständigen Vortrag finden Sie auf YouTube:

Prof. Dr. Sepp Hochreiter, geboren 1967 in Mühldorf am Inn, leitet an der Johannes Kepler Universität Linz das Institut für Machine Learning und das AI Lab. Seit Februar 2024 ist er Chief Scientist bei NXAI. In diesem Gespräch mit Prof. Dr. Eduard Heindl teilt er Einblicke in seine Pionierarbeit bei neuronalen Netzen, insbesondere der Entwicklung von LSTM (Long Short-Term Memory), und diskutiert aktuelle Fortschritte wie xLSTM sowie die Zukunft der KI. Das Gespräch beleuchtet den Übergang von akademischer Forschung zu industriellen Anwendungen und berührt Themen wie Energieeffizienz und gesellschaftliche Implikationen.

Der Einstieg in die KI und die Erfindung von LSTM

Hochreiter begann sein Informatikstudium an der TU München 1987, zu einer Zeit, als KI noch kein großes Thema war. Er fand klassische Informatikthemen wie Sortieralgorithmen langweilig und wandte sich neuronalen Netzen zu, betreut von Jürgen Schmidhuber. In seiner Diplomarbeit entwickelte er LSTM, um das Problem des "vanishing gradients" in rekurrenten Netzen zu lösen. Dies ermöglichte es, Informationen über längere Zeiträume zu speichern.

Ein illustratives Zitat von Hochreiter: "Ich habe ein neuronales Netz gebaut... und habe ich gesehen, der Gradient... je weiter das zurückgeht in die Zeit, umso kleiner wird der Gradient." Diese Erkenntnis führte zur Memory Cell, die Gradienten konstant hält und Netze für sequentielle Daten wie Sprache oder Zeitreihen geeignet macht. LSTM war bis 2017 in Geräten wie Smartphones für Spracherkennung integriert, bevor Transformer-Modelle übernahmen.

Vom LSTM zu Transformer und xLSTM

Der Übergang zu Transformern erfolgte 2017 mit dem Paper "Attention is All You Need". Transformer parallelisieren besser, was Skalierung ermöglicht, aber LSTM war Vorreiter, z.B. in ELMo, dem ersten Large Language Model. Hochreiter entwickelte xLSTM, um LSTM skalierbar zu machen: "Es geht genauso gut, aber es ist viel schneller... wir sind dann auf zehn mal schneller."

xLSTM kombiniert LSTM mit Attention, ist energieeffizienter und linear in der Komplexität, im Gegensatz zur quadratischen von Transformern. Es eignet sich für Zeitreihen-Foundation-Modelle, die Zeitreihen vorhersagen, ohne Neulernen. Hochreiter betont Vorteile wie State-Tracking: "Der Transformer hat kein Gedächtnis... das LSTM kann im Gedächtnis einfach speichern. Das System ist in dem Zustand."

Anwendungen in Industrie und Zeitreihenanalyse

LSTM und xLSTM finden Anwendung in Zeitreihen, z.B. Aktienkursen, Wettervorhersagen oder Maschinenwartung. Hochreiter: "Zeitreihen kommen in Industrie überall vor... da ist LSTM immer besser gewesen." Bei NXAI entstand ein Zeitreihen-Foundation-Modell mit 50 Millionen Zeitreihen, das Prognosen ohne Retraining liefert.

In der Hydrologie speichert xLSTM Systemzustände wie Wasserspeicherung in Schnee oder Boden. Ähnlich in Robotik: Es merkt Positionen, im Gegensatz zu Transformern, die alles neu berechnen. Dies macht KI energieeffizienter für Edge-Computing in Drohnen oder Maschinen.

KI-Winter, Deep Learning und Skalierung

Hochreiter reflektiert über KI-Phasen: Nach LSTM (1991) kam ein "KI-Winter", wo Support Vector Machines dominierten. Deep Learning startete 2006 mit Geoffrey Hinton, der den Nobelpreis erhielt. Skalierung ermöglichte Große Modelle mit Milliarden Parametern, aber Hochreiter warnt: "Die meisten der besten Lösungen für neuronale Netze sind unentdeckt... weil wir immer den Fehler verbessern müssen."

Er plädiert für Industrialisierung: KI muss kleiner, spezialisiert und effizient werden. Europa fehlt Infrastruktur, aber durch Innovation kann Anschluss gefunden werden. Mentale Unterschiede: In den USA gründet man Startups, in Europa strebt man Professuren an.

Zukunft: Kreativität, Bewusstsein und Ethik

KI fehlt Kreativität: "Es wurde jeder Kreativität beraubt, weil es hat genauso wie Beethoven sein müssen." Bewusstsein entsteht automatisch in komplexen Weltmodellen. Für Ethik: Mensch bleibt im "Fahrersitz", da KI keine Empathie hat. Gefahren: Manipulation in Medien oder Verantwortungsabgabe.

Hochreiter rät zu diversen Quellen gegen Filterblasen. Simulationen mit KI erkennen Makrostrukturen, z.B. in Physik oder Prozessen wie Weizenkorn-Interaktionen, und ermöglichen effiziente Modelle.

Abschluss und Ausblick

Das Gespräch endet mit Optimismus für Europas KI-Rolle durch Industrialisierung. Hochreiter betont Durchlässigkeit zwischen Uni und Industrie.

Sie finden alle Videos unter:
https://energiespeicher.blogspot.com/p/energiegesprache-mit-eduard-heindl.html

Stichworte: LSTM, künstliche Intelligenz, Transformer, Zeitreihen, Bewusstsein

Joscha Bach im Gespräch

Dr. Dr. h.c. Joscha Bach im Gespräch mit Eduard Heindl 

Das vollständige Gespräch mit Joscha Bach auf YouTube

1. Kindheit in der DDR und Weg in die KI-Forschung

Joscha Bach, in Weimar in der ehemaligen DDR geboren, schildert zu Beginn des Gesprächs seine Kindheits- und Jugenderfahrungen. Er sei die letzte Generation, die noch voll in der DDR sozialisiert worden sei und habe als Jugendlicher mit großem Idealismus an den politischen Veränderungen teilgenommen. Das Ende der DDR empfand er zunächst als Verlust der erhofften gesellschaftlichen Neuerungen. Dennoch erkennt er später, dass der Anschluss an die Bundesrepublik und der damit verbundene Zugewinn an Freiheiten ihm beruflich Türen geöffnet haben.
Nach dem Mauerfall studierte er an der Humboldt-Universität und forschte unter anderem am MIT und in Harvard. Dabei verfolgte er eine Leidenschaft, die in Deutschland damals nicht stark etabliert war: das Streben nach „starker KI“, also das Ergründen und Nachbauen des menschlichen Geistes in Computerform. Er schildert, wie er sich nach den USA orientiert hat, da er dort auf mehr Offenheit für radikale Forschungsansätze stieß. Während seiner Dissertation wurde ihm in Deutschland mehrfach gesagt, sein Thema sei „zu groß“ und nicht in die geförderten Forschungsrahmen zu integrieren. In den USA, so Bach, habe er jedoch mehr Freiraum gefunden, um seine Vision einer wirklich umfassenden Kognitionsarchitektur weiterzuverfolgen.

2. Was ist Intelligenz? Lernprozesse bei Mensch und Maschine
Ein Kernstück des Gesprächs bildet die Frage, wie man Intelligenz überhaupt definiert. Klassisch verstehe man darunter oft die Fähigkeit zum Problemlösen. Bach allerdings betont, dass die menschliche Intelligenz mehr sei als nur Problemlösung: Sie zeige sich in der Fähigkeit, komplexe Modelle von Weltzusammenhängen zu bilden, Muster zu erkennen und Bedeutungen in größere Kontexte einzubetten.
Im Bereich Künstlicher Intelligenz gebe es heute eine „Skalierungshypothese“: Je mehr Daten und Rechenleistung ein (statistisches) Lernmodell hat, desto besser würden die Resultate. Diese Methode habe zu riesigen Sprachmodellen (LLMs) wie GPT geführt, die aus Abermillionen Texten statistische Zusammenhänge lernen und in gewissem Maße „Verständnis“ simulieren. Bach weist aber darauf hin, dass Menschen weit weniger Daten benötigen, um Sprache, Objekte oder Interaktionen zu meistern. Während ein Kleinkind in wenigen Lebensjahren intuitiv lernt, seine Umgebung zu deuten, benötigen KI-Systeme noch Unmengen an Trainingsmaterial. Dies könne darauf hinweisen, dass beim Menschen andere und effizientere Lernmechanismen, möglicherweise mit starken Rekurrenzen und selbstorganisierenden Prozessen, zum Tragen kommen.
Zudem verweist Bach auf grundlegende Unterschiede in der Organisation biologischer Neuronen gegenüber künstlichen Netzen: In der Biologie entstünden vielschichtige Schleifen, Rückkopplungen und Selbstorganisation, die man in heutigen KI-Architekturen nicht oder nur vereinfacht abbilde. Die traditionellen Feedforward-Netze mit Backpropagation deckten nur einen Bruchteil möglicher selbstorganisierender Lernprozesse ab.

3. Bewusstsein, Wille und die Metaphysik des Geistes
Ein weiterer Schwerpunkt ist der Begriff des Bewusstseins. Im westlichen Diskurs werde oft zwischen Physischem und Geistigem getrennt. Historisch gehe das auf René Descartes zurück, der „res extensa“ (die ausgedehnte Welt) von „res cogitans“ (dem denkenden Geist) unterschieden habe. Bach kritisiert jedoch die Gleichsetzung, als sei unsere sinnlich erfahrbare Welt identisch mit der physikalischen Welt „da draußen“. Tatsächlich sei alles, was wir wahrnehmen, eine Konstruktion des Gehirns, das aus Sinnesreizen ein stimmiges Modell generiere. Farben, Töne, Schmerz- und Willenserleben seien psychologische Realitäten, die in mathematischen Beschreibungen oder in den quantenmechanischen Formeln der Physik keinen direkten Widerhall fänden.
Der „freie Wille“ sei ebenfalls kein physikalischer, sondern ein psychologischer Begriff: Aus subjektiver Perspektive fühlen wir uns frei, solange wir unsere Handlungen nicht vorhersagen können. Die Physik hingegen kennt nur deterministische oder probabilistische Prozesse, nicht jedoch einen Willensbegriff. Bach deutet an, dass es sich vielmehr um verschiedene „Ebenen“ oder „Sprachen“ handle: eine Ebene der Physik, eine der kausalen Abläufe und eine der subjektiven Erfahrungen, die sich teilweise überschneiden, aber nicht aufeinander zurückführen lassen.
In diesem Kontext verweist Bach auf den altgriechischen Philosophiebegriff des „Logos“: Es gebe eine Form, in der Denkprozesse, Bedeutungen und Logik in einem gemeinsamen Bezugsrahmen eingebettet seien. Die Moderne habe jedoch den Blick auf diese umfassende Metaphysik teilweise verloren oder diskreditiert, weil man in den Wissenschaften nur noch falsifizierbare Theorien gelten lassen wollte.

4. Selbstorganisation, Gesellschaft und Ethik
Bach reflektiert, dass es nicht ausreiche, KI-Systeme einfach in politische oder technokratische Schablonen zu pressen. Es gehe um eine tiefergehende Idee von Gesellschaft und Verantwortung. Er zieht Parallelen zwischen biologischer Selbstorganisation und gesellschaftlichen Prozessen:

• Gesellschaftlicher Wandel: Imperien sind wie Organismen, die wachsen und wieder zerfallen. Kein Imperium habe je dauerhaft Bestand gehabt, jede Hochkultur habe ihre Zyklen. Auch gegenwärtige Großmächte seien in dieser Dynamik gefangen. Fortschritt und Niedergang könnten sich rasch ablösen.
• Komplexität und Integration: Eine Zivilisation funktioniere nur, wenn genügend Menschen die nötige Expertise integrieren. So sei etwa die moderne Chipfertigung ein hochkomplexer Verbund von Ingenieurleistungen, die kein Einzelner mehr überblicken könne. Auch in der Wissenschaft wirke häufig ein Gruppendenken, das zwar inkrementell voranschreite, aber riskieren könne, neue Paradigmen zu verschlafen.
• Werte und Zielsetzungen: Viele Menschen, die sich rein sozial an Mehrheitsmeinungen orientieren, fürchten, KI könne „falsche“ Inhalte erzeugen oder manipulative Ideologien verbreiten. Rationalistisch denkende Menschen hingegen suchen nach besseren Algorithmen und Daten. Eine noch höhere Entwicklungsstufe (Stufe 5 nach Robert Kegan) setze voraus, dass man erkannt habe, wie Identität form- und wandelbar ist.

Gerade beim Thema Ethik für KI-Systeme betont Bach, dass wir Menschen eigentlich noch gar keine konsistente, logisch fundierte Ethik entwickelt hätten, die sich formal in Algorithmen gießen ließe. Die Religionen seien lange Zeit ein sozial tragfähiger Rahmen gewesen, aber mit der Säkularisierung seien bestimmte Werte verloren gegangen oder unklar geworden. Ein reiner „Utilitarismus“ reiche ebenso wenig wie rein regelbasierte Moralvorstellungen.

5. Ausblick: Zwischen Quantencomputern und planetarer Zukunft
Zum Ende des Gesprächs spannt sich der Bogen noch weiter auf:

• Quantenphysik und Quantencomputer
  Bach beschreibt, wie Quantencomputer letztlich die Church-Turing-These nicht aushebeln, sondern lediglich andere Ressourcen im „Fundament“ der Physik anzapfen. Da alles auf quantenmechanischen Feldern basiere, stelle sich die Frage, wie diese Vielzweck-Rechenschicht auf fundamentaler Ebene genau organisiert ist. Die Quantenmechanik sei für menschliche Intuition schwer fassbar, weil wir mit unserer Alltagswelt nur deterministische oder grob statistische Vorgänge verknüpfen.
• Menschheit am Scheideweg
  Die Diskussion streift die Idee, ob unsere industrialisierte Welt nachhaltig ist oder ob sie in einen Kollaps führen muss. Bach vergleicht manche politischen Umbrüche mit dem Zusammenbruch der DDR und sieht zugleich eine gewisse Richtungslosigkeit. Die Menscheit könne technisch zwar noch weiter skalieren – bis hin zu multiplanetaren Siedlungen –, gleichzeitig bestehe jedoch das Risiko, dass soziale, ökologische und ethische Systeme dem Tempo nicht folgen könnten.
• Der Wert des Wissens
  Wie kann die Gesellschaft verhindern, dass hochspezialisierte Gruppen zu einer intransparenten „Priesterkaste“ werden, die Wissen hortet und so Macht ausübt? Die Organisation von Technologie, die Speicherung von Kultur, die Bildung künftiger Generationen: All dies verlangt nach kohärenten Rahmenbedingungen. KI-Systeme könnten, so Bach, helfen, Wissen zu ordnen. Doch sie werfen ebenso Fragen nach Kreativität, Ursprung neuer Ideen und menschlicher Identität auf.

Am Schluss unterstreicht Bach die Wichtigkeit, Metaphysik, Psychologie, Technologie und Physik nicht jeweils als isolierte Inseln zu betrachten. Vielmehr sollten wir versuchen, einen umfassenden, konsistenten Bezugsrahmen zu schaffen – einer, in dem sowohl moderne KI-Systeme als auch uralte Fragen über Bewusstsein, Freiheit und Sinn gebührend Platz finden. Nur so gelinge es, eine Welt zu gestalten, in der künstliche Intelligenz nicht bloß Datenmuster vervollständigt, sondern mit zu einer lebensfreundlichen Zukunft beiträgt.

Die vollständige Liste aller Energiegespräche finden Sie hier: https://energiespeicher.blogspot.com/p/energiegesprache-mit-eduard-heindl.html