PCH ontwikkelt robots die bestuurd worden met grote taal- en vision-modellen

Robotica bevindt zich op een keerpunt. Large language models (LLMs) brengen unieke redeneervermogens naar software, waardoor robotische systemen op manieren kunnen observeren, oriënteren, beslissen en handelen die slechts enkele maanden geleden nog onbereikbaar leken. PCH Innovations, een op innovatie gerichte firma in Berlijn, schreef er onlangs een zeer interessante artikel over.

PCH heeft veel ervaring met innovatieve robotica-projecten. Men heeft naar eigen zeggen een voorkeur voor projecten die door de meeste automatiseringsbedrijven als te complex, te wispelturig of te experimenteel worden beschouwd. Dit varieert van verpakking van consumentengoederen tot verwerking van composietmaterialen en - recentelijk - de reparatie van Nike-schoenen het via robots plaatsen van patches. Deze systemen vereisen iedere keer weer uitgebreid en nauwkeurig werk om te automatiseren, maar ondanks hun veelzijdige prestaties blijven robotbesturingssystemen relatief star.

Daarom vroeg men zich af: hoe kunnen we meer wendbare robotsystemen bouwen die zich kunnen aanpassen aan nieuwe scenario's? En specifieker: hoe kan de recente, snelle vooruitgang van LLM-gestuurde redenering functionaliteit in de toegepaste robotica mogelijk maken?

Grote taal- en vision-modellen

Taal is al hel lang het kenmerkende kenmerk van de mens, zo stelt het bureau. Het heeft ons in staat gesteld ideeën te delen, samenlevingen op te bouwen en de wereld om ons heen vorm te geven. Zoals Ludwig Wittgenstein al zei: "De grenzen van mijn taal zijn de grenzen van mijn wereld." 

In de wereld van kunstmatige intelligentie zijn we getuige van de opkomst van LLMs, die menselijke tekst kunnen begrijpen en genereren. Deze modellen transformeren hoe we met machines omgaan en openen nieuwe mogelijkheden voor interactie tussen mens, omgeving en robot. Dit is een aandachtsgebied dat enorm in beweging is — de meeste belangrijke research papers zijn uitgebracht in de laatste 6-12 maanden. 

De integratie van LLMs in robotica is een snel evoluerend veld, met talrijke projecten die de grenzen van wat mogelijk is verleggen. Deze projecten zijn niet slechts geïsoleerde experimenten, maar onderdelen van een veel grotere puzzel die collectief een beeld schetsen van een toekomst waarin robots intelligenter, aanpasbaarder en interactiever zijn.

Toepassingen

Nieuwe mogelijkheden ontstaan niet alleen in de industriële robotica, maar ook in complexere gebieden zoals service-robotica, veldrobotica en agri-robotica, waar de bedrijfsomgeving voortdurend verandert. LLMs maar bijvoorbeeld ook Vision-Language Models (VLM) kunnen helpen om het ontwikkelingsproces voor nieuwe toepassingen aanzienlijk te versnellen en robots veelzijdiger te maken. Dit kan leiden tot een verminderde hoeveelheid robots die nodig zijn voor specifieke toepassingen. Ook gaan zij lokale, kleinschalige robotproductieplaatsen mogelijk maken en gaan deze ontwikkelingen helpen met het automatiseren van gevaarlijke en inspannende taken die helpen onze planeet te reinigen.

Bij PCH Innovations ziet men tal van kansen als we robotos en LLM’s en VLM’s gaan combineren. Laten we er drie bekijken. 

Industriële robot als multitaskende begeleider

Robots met LLM- en VLM-mogelijkheden kunnen complexe instructies interpreteren en zich aanpassen aan uitdagende omgevingen, waardoor ze essentieel zijn voor afgelegen operaties of om sterke en nauwkeurige handen toe te voegen aan een werknemer. In gevaarlijke industriële omgevingen bieden LLM-aangedreven robots een veiliger alternatief voor menselijke betrokkenheid, waarbij ze effectief complex afvalmateriaal en gevaarlijke stoffen hanteren. Vanwege de gemakkelijke interactie, maken LLM-aangedreven robots perfecte begeleiders op bouwplaatsen, in fabrieken of zelfs in een ziekenhuis. In vergelijking met menselijke werknemers kunnen zij repetitieve en zware taken uitvoeren, zoals het boren van gaten of het laden en lossen van zware objecten in machines zonder moe te worden.

Een veldrobot voor milieureiniging

• Door het integreren van grote taalmodellen (LLMs) en visuele taalmodellen (VLMs) in veldrobots, kunnen we intelligente automatiseringsoplossingen creëren voor het reinigen van natuurlijke habitats, wat bijdraagt aan milieubehoud. Deze robots, uitgerust met VLM, bezitten geavanceerde mogelijkheden om afval te detecteren, te verzamelen en te recyclen, gevaarlijke materialen te verwijderen of invasieve soorten te vernietigen, waardoor ze efficiënt stranden, bossen en andere gevoelige ecosystemen kunnen reinigen zonder verstoring van het milieu. Het belangrijkste voordeel is dat een LLM-agent beslissingen kan nemen voor onbekende objecten, omdat het objecten kan categoriseren op basis van logische parameters, net zoals mensen dat zouden doen.
• Het gebruik van LLMs stelt deze robots in staat afval te onderscheiden van natuurlijke elementen met hoge precisie. Deze vaardigheid is met name waardevol bij het reinigen van delicate ecosystemen en mariene omgevingen, waar het onderscheid tussen puin en levende organismen cruciaal is. Met continu leren kunnen deze robots hun afvalverzamelingsproces in de loop van de tijd verbeteren, zich aanpassen aan verschillende soorten afval en hun verzamelstrategieën optimaliseren.
• Naarmate deze robots blijven leren en evolueren, kunnen ze wereldwijd worden ingezet in verschillende natuurlijke habitats, waarbij ze een significante bijdrage leveren aan milieubeschermingsinspanningen.

Agri-robot voor precisielandbouw

• LLM-aangedreven robots zouden de groeiomstandigheden van planten kunnen optimaliseren, nauwgezet water- en voedingsstoffenverspilling verminderen, en het delicate proces van oogsten afhandelen. De model(len), fungerend als het brein van deze robots, zouden hen kunnen helpen zich aan te passen aan nieuwe gewassen en fluctuerende groeiomstandigheden, waardoor hun efficiëntie in de loop van de tijd verbetert.
• Een van de meest veelbelovende toepassingen van deze technologie zou kunnen liggen op het gebied van onkruidbestrijding. Als het AI-model leert onkruid van gewassen te onderscheiden, zou het een onschatbaar hulpmiddel worden in de biologische landbouw, waar chemische herbiciden geen optie zijn. Dit zou niet alleen de integriteit van de gewassen behouden, maar ook het handmatige werk aanzienlijk verminderen.
• Bovendien kunnen deze robots worden ontworpen om zich aan te passen aan veranderende omgevingen en meerdere taken uit te voeren, waardoor ze cruciale activa worden in diverse landbouwscenario's. Van stadslandbouw en autonome gewasmonitoring tot slimme irrigatiesystemen, de potentiële toepassingen zijn uitgebreid.
• Een ander significant voordeel zou kunnen liggen in de interacties tussen de robot en de boer.

Het gebruik van grote taalmodellen kan boeren in staat stellen complexe instructies te geven aan deze robots op een conversatiemanier, waardoor de technologie toegankelijker en gebruiksvriendelijker wordt. Deze naadloze interactie kan verder de kloof tussen mens en machine overbruggen, waardoor een nieuw tijdperk van duurzame en efficiënte landbouw wordt ingeluid.

Van scientific paper naar de praktijk

Als het gaat om nieuwe technologieën, weten we dat het meer vergt dan alleen het lezen van de nieuwste wetenschappelijke papers. Er is meer nodig en juist daar ziet PCH voor zichzelf een rol weggelegd. Daarom heeft het bureau inmiddels een krachtige server aangeschaft die dankzij twee A100 grafische kaarten in staat is een test- en demoplatform voor een Kuka KR6 6-assige robotarm, een power sensor, dieptecamera en een krachtige pc. Ook heeft men de software om LLM’s te trainen en te bevragen. Deze kunnen onder andere camerabesturing en vision-tools aansturen.