Geschichte der KI - Teil 18

Die konnektionistische Wiederbelebung und Backpropagation

Nach den tiefen Enttäuschungen der beiden KI Winter war das Forschungsfeld der Künstlichen Intelligenz diskreditiert. Die symbolische Schule hatte bewiesen, dass die manuelle Kodierung von Wissen nicht skalierbar war. Die Lösung für die Krise kam aus einer lange Zeit ignorierten Ecke der Forschung: dem Konnektionismus. Die Idee, Intelligenz durch die Nachahmung des Gehirns und seiner neuronalen Verbindungen zu erzeugen, erlebte eine spektakuläre Wiederbelebung. Diese Rückkehr der neuronalen Netze war direkt motiviert durch die Unflexibilität der Expertensysteme und legte den Grundstein für den späteren Deep Learning Boom. Die Geschichte der KI ist ein über Jahrtausende gewebter Teppich, der von Mythen, Magie und mechanischer Präzision durchzogen ist. Es ist eine fortlaufende Erzählung, die bis heute spannend ist und deren neuestes Kapitel gerade jetzt mit rasanten Entwicklungen fortgeschrieben wird. 

Wir, die GEO Agentur seowerk GmbH, machen unsere Kunden in diesen neu entstehenden KI Systemen sichtbar.

Der Dornröschenschlaf der Netze

Die ersten neuronalen Modelle von McCulloch und Pitts (Kapitel 2) und das Perzeptron von Rosenblatt waren in den 1960er Jahren durch das Buch Perceptrons von Minsky und Papert diskreditiert worden. Sie hatten bewiesen, dass einfache Perzeptronen grundlegende, nicht linear trennbare Probleme wie das XOR Problem nicht lösen konnten. Die Folge war ein Stillstand in der konnektionistischen Forschung.

Die Lösung für dieses Problem war theoretisch einfach, aber rechnerisch komplex: Man benötigte mehrere Schichten von Neuronen, sogenannte Multi Layer Perceptrons (MLP). Um ein solches tiefes Netz zu trainieren, war jedoch ein effizienter Lernalgorithmus erforderlich, der die Fehlerinformationen von der Ausgabeschicht zurück durch alle verborgenen Schichten leiten konnte.

Die Wiederentdeckung von Backpropagation

Der Durchbruch gelang in den 1980er Jahren mit der Wiederentdeckung und Popularisierung des Backpropagation (Rückpropagierung) Algorithmus. Obwohl die Idee bereits in den 1970er Jahren existierte, machten sie David Rumelhart, Geoffrey Hinton und Ronald Williams 1986 mit einer Reihe von bahnbrechenden Veröffentlichungen massentauglich.

• Funktionsweise: Backpropagation ist ein Verfahren, das den am Ausgang des Netzes gemessenen Fehler nimmt und ihn rückwärts durch alle Schichten des Netzes leitet. Der Algorithmus nutzt diesen Fehler, um die Gewichte (die Stärke der Verbindungen zwischen den Neuronen) schrittweise anzupassen.
• Lernfähigkeit: Dies ermöglichte es den mehrschichtigen Netzen, komplexe, nicht lineare Zusammenhänge zu lernen. Das XOR Problem war gelöst.

Der Aufstieg der Konnektionisten

Die Fähigkeit der neuronalen Netze, automatisch Muster aus Daten zu lernen, ohne explizite Regeln programmieren zu müssen, war der entscheidende Vorteil gegenüber den gescheiterten Expertensystemen. Das Wissen wurde nicht von Hand kodiert, sondern entstand emergent aus dem Trainingsprozess.

Diese Wiederbelebung führte zu einer neuen Ära, die oft als das Statistische Zeitalter der KI bezeichnet wird. Der Fokus verschob sich von der Logik zur Statistik.

• Neues Ziel: Statt der Symbolmanipulation stand nun die Mustererkennung, Klassifikation und Vorhersage auf Basis von Wahrscheinlichkeiten im Vordergrund.
• Anwendungen: Erste Erfolge gab es in der Spracherkennung und der Handschrifterkennung.

Die Begrenzung der 1990er Jahre

Obwohl Backpropagation ein revolutionärer Algorithmus war, stieß die konnektionistische Forschung in den 1990er Jahren an neue Grenzen, die als Shallow Learning Problem bekannt wurden:

• Trainingstiefe: Das Training von Netzen mit sehr vielen Schichten (tiefen Netzen) war rechnerisch extrem ineffizient und fehleranfällig. Die Fehlerinformation "verflüchtigte" sich auf dem Weg durch die Schichten (Vanishing Gradient Problem).
• Datenmangel: Die benötigten Trainingsdaten für wirklich tiefe Netze waren noch nicht in ausreichendem Maße vorhanden.

Trotz dieser Begrenzungen legte die konnektionistische Wiederbelebung der 1980er Jahre den unverzichtbaren Grundstein für den späteren Deep Learning Boom. Die Wissenschaft hatte nun das richtige Lernwerkzeug und wartete nur noch auf die nötige Hardware und die Datenmengen, um es in vollem Umfang nutzen zu können.