Dieses Wissen machten sich Forscher um den Informatiker und Neurowissenschaftler Demis Hassabis von DeepMind, einem britischen Google-Unternehmen, zu Nutze. Ihr künstliches neuronales Netz lernte 2015, klassische Atari-Spiele zu meistern.
Als Input bekam es lediglich die farbigen Pixel des Bildschirms und den Spielstand vorgesetzt. Als Output gab das Netz Befehle für Joystickbewegungen aus. Das Training beruhte auf dem Prinzip des Verstärkungslernens. Dabei werden günstige Entscheidungen nachträglich belohnt, in diesem Fall durch Gewinnpunkte. Der Algorithmus lernte nach und nach durch Versuch und Irrtum dazu.
Ein wichtiger Bestandteil des Netzes war eine Art Wiederholungstaste. Es speicherte einen Teil der Trainingsdaten und wiederholte sie »offline«, um dadurch erneut von seinen Erfolgen und Fehlern zu lernen. Wie sich zeigte, war Hassabis Netz anderen Algorithmen im direkten Vergleich überlegen. Es begriff nicht nur besser, sondern vor allem auch schneller.
Es gebe derzeit verschiedene Ansätze, künstlichen neuronalen Netzen eine Art episodisches Gedächtnis zu verpassen, so Helge Ritter. Das Ziel sei bei allen das gleiche: die Lernzeit zu verkürzen und die Zahl der für das Training notwendigen Beispiele zu reduzieren. Einen Weg dazu zeigten 2016 der Informatiker Oriol Vinyals und sein Team von DeepMind auf. Sie statteten ein Netz mit einer »Memory-Komponente« aus, die für die Aufgabe nützliche Informationen speicherte.
Zwar mussten sie für das Training weiterhin auf einen großen Datensatz mit 60 000 Bildern zurückgreifen. Er umfasste Dinge und Lebewesen aus 100 Kategorien wie Autos und Katzen mit jeweils 600 Beispielbildern. Doch immerhin hatte der Algorithmus bereits nach 80 Kategorien das Prinzip »verstanden«. Dann ging es ganz fix: Bei den restlichen 20 erkannte er neue Dinge, etwa einen Hund, schon nach einem Beispielbild wieder. Das ist ähnlich wie beim Menschen. Auch wir lernen schneller, wenn wir vorhandene Kenntnisse auf neue Inhalte anwenden können.
Fataler Filmriss
Doch was passiert mit dem erworbenen Wissen? Kann es einfach bis ins Unendliche erweitert werden? Lange Zeit kämpfte die KI-Forschung mit einem Problem, das man in Fachkreisen »katastrophales Vergessen« nennt – ein echter Horror für Informatiker: Kaum hat ein Algorithmus mühsam eine Aufgabe gelernt, werden die nun dazu passenden »gewichteten Verknüpfungen« des neuronalen Netzes auf eine zweite Aufgabe hin optimiert und letztlich dadurch überschrieben. Daher konnte beispielsweise auch das Netz von DeepMind immer nur ein einziges Atari-Spiel einstudieren.
Auch in diesem Fall können sich die KI-Forscher am menschlichen Gehirn orientieren. Wenn beispielsweise eine Maus etwas Neues lernt, verstärkt das die beteiligten Synapsen zwischen den Nervenzellen. Dabei wachsen Dornenfortsätze, kleine Auswüchse auf den verzweigten Dendriten, die den Empfängerteil der Synapsen enthalten. Nun kommt das Entscheidende: Die Dornen bleiben auch bei neuen Lernvorgängen erhalten, und die synaptische Übertragung ist dauerhaft erhöht. So wird die entsprechende Erfahrung konsolidiert, also verfestigt.