Erik Schuitema, promovendus aan de T(echnisch) U(niversiteit) Delft, bouwde Leo, een tweevoetige robot, om onderzoek te doen naar het toepassen van Reinforcement Learning op echte robots. Leo is in staat om twee motorische basistaken te leren: het plaatsen van een voet op een traptrede en lopen. Met de robot doet Schuitema onderzoek naar de mogelijkheden om robots zelf taken te laten leren. Dat is een efficiëntere aanpak dan ze handmatig te moeten programmeren voor specifieke taken in bijvoorbeeld het huishouden.
Robot Leo (© ; licentie: )
Leo leert dankzij Reinforcement Learning (RL) waarbij een systeem taken leert op te lossen op basis van terugkoppeling op zijn gedrag. Leo krijgt positieve of negatieve beloningen naargelang zijn gedragingen. Zo krijgt de robot een positieve beloning voor het vooruit bewegen van zijn voet en een negatieve beloning voor het gebruik van tijd en energie. Die beloning is een getal in de computer dat hoger of lager kan worden. Door uitproberen en bijsturen probeert Leo zijn beloningen te maximaliseren.
Met deze methode leerde Leo binnen vijftien minuten zijn voet op een trede te plaatsen. Leren lopen duurde iets langer. Omdat uit een simulatie bleek dat de robot hierbij duizenden keren zou vallen en de hardware hier niet helemaal tegen bestand was, werd Leo in de beginfase wat geholpen. Hij mocht een beetje ‘afkijken’ van de manier waarop lopende robots handmatig worden geprogrammeerd. Na een aantal uren kon Leo deze loopwijze zelfs iets verbeteren. Volgens de onderzoeker kan het nog wel een hele tijd duren vooraleer de technologie in de praktijk inzetbaar wordt.
