Wie können wir Roboter mit kognitiven Fähigkeiten ausstatten?

In den letzten Jahren wurden durch Deep Learning beeindruckende Erfolge in verwandten Bereichen erzielt, zum Beispiel bei der visuellen Wahrnehmung, der Spracherkennung und -synthese sowie bei Dialogsystemen wie ChatGPT. Diese beruhen auf dem Training großer Modelle mit gigantischen Datenmengen. Solche Basismodelle erfassen umfangreiches Weltwissen und können beispielsweise durch Transfer-Lernen oder In-Kontext-Lernen schnell auf spezifische Aufgabenstellungen angepasst werden. Wie können wir diese Erfolgsstory nun auch für die Robotik fortschreiben? Erste Schritte in diese Richtung sind multimodale Modelle, die nicht nur mit einer Modalität – also ausschließlich Texten, Bildern oder Sprache – trainiert werden, sondern mit Daten aus mehreren Modalitäten wie etwa CLIP von OpenAI. Auch wenn die Gewinnung von echten robotischen Interaktionsdaten aufwändig ist, gibt es Initiativen zur Zusammenführung von Daten verschiedener Roboter und Aufgaben, z.B. Open X-Embodiment. Damit können trainierte Modelle eine Vielfalt von Manipulationsaufgaben besser lösen als Modelle, die nur mit spezifischen Daten trainiert wurden.

Eine weitere Möglichkeit ist es, Interaktionen in einer Simulation zu erzeugen. Hierbei sind die Herausforderungen, die Simulation realistisch zu gestalten sowie das in der Simulation Erlernte auf die Realität zu übertragen (Sim2Real-Gap).

Lernen aus großen Datenmengen auch in der Robotik?

Das menschliche Vorbild zeigt uns, dass dateneffizientes Lernen möglich ist. Hierfür sind spezifische Lernmodelle erforderlich, die evolutionär optimiert wurden und durch Verwendung von Vorwissen – induktives Bias – wenig Daten erfordern. So können wir zwar nicht mehr beliebige Aufgaben lernen, aber dafür die Aufgaben schneller und besser erlernen, welche das Leben uns stellt.

Um eine vergleichbare Dateneffizienz bei Robotern zu erreichen, werden ähnliche Lernmodelle benötigt, die ein passendes induktives Bias haben. Hier ist aus meiner Sicht eine Orientierung an der Struktur des menschlichen kognitiven Systems hilfreich. Insbesondere benötigen Roboter nicht nur ein schnelles, paralleles sensomotorisches System 1 für Routineaufgaben, sondern auch ein System 2 für höhere kognitive Funktionen, wie Planung oder die Einschätzung der eigenen Grenzen.

Bei passender kognitiver Architektur bietet die Teleoperation große Chancen, um Schritt für Schritt menschliche Kompetenzen auf autonome Funktionen zu übertragen und so immer weniger auf Menschen als Bedienpersonen angewiesen zu sein.

Lernen von Demonstrationen und Feedback

Zwei vielversprechende Ansätze, wie Roboter von Menschen lernen können, sind das Lernen von Demonstrationen und das interaktive Reinforcement-Lernen. Beim Lernen von Demonstrationen können Roboter entweder vom Menschen "an die Hand genommen" und durch die Aufgabe geführt werden oder sie beobachten Menschen, die selbst eine Aufgabe durchführen, probieren anschließend das Gesehene zu verstehen und zu kopieren. Menschliche Demonstrationen können dabei zum einen genutzt werden, um bekannte Teilaufgaben wiederzuerkennen und in neuer Reihenfolge auszuführen, sowie um komplett neue Bewegungs- und Aufgabenabläufe zu erlernen.

Beim interaktiven Reinforcement-Lernen hingegen nutzen Roboter durch Interaktion mit Menschen gewonnenes Feedback, um vorher Erlerntes iterativ zu verbessern. Menschen können dabei Roboter während der Ausführung ihrer Aufgaben bewerten. So können Roboter zusätzlich auch persönliche Präferenzen ihrer Nutzer für Aufgabendurchführungen lernen. Feedback kann hierbei entweder explizit zum Beispiel über Tablet oder Spracheingabe gegeben werden, oder Roboter lernen durch implizites Feedback, also dadurch, wie ihr Verhalten menschliches Verhalten oder den Erfolg der Aufgabendurchführung beeinflusst.

Menschliche Fehlerquellen beim Lernen

Lernfähige Robotiksysteme, die durch direkte Interaktion mit Menschen lernen und zuvor Gelerntes verbessern können, verfügen über großes Potenzial in vielen Einsatzbereichen. Voraussetzung: Die Roboter sind sicher. Eine wichtige Frage aktueller Forschung ist daher, wie man Roboter und die von ihnen genutzten Algorithmen gegen fehlerhafte oder unerwünschte menschliche Demonstrationen absichern kann. Im Gegensatz zu klassisch programmierten Robotern sollte bei lernfähigen Robotiksystemen zum Beispiel sichergestellt werden, dass sie potenzielle Unsicherheiten oder Inkonsistenz in menschlichem Feedback verstehen. Ebenso wichtig ist es, dass die Roboter einen zuvor definierten Kernaufgabenbereich auch durch menschliche Demonstrationen nicht verlassen können.

Die Entwicklung von sicheren und menschenzentrierten zukünftigen Lernalgorithmen erfordert deswegen insbesondere interdisziplinäre Forschung aus Kognitionswissenschaften, Robotik und maschinellem Lernen. Ziel ist es zu verstehen, wie Menschen Demonstrationen und Feedback geben und geben wollen, um zu erkunden, wie die Roboter der Zukunft davon am besten lernen können.