Robotikk

T-Rex lar roboter justere grepet raskere med berøringssensorer

En robotmodell som kombinerer syn og språk med raske signaler fra fingertuppene, fikk 65 prosent i snitt på 12 kontaktkrevende oppgaver. Resultatet gjelder en avgrenset forskertest.

Konseptillustrasjon av tohånds robotmanipulasjon der sensorer i fingertuppene bidrar til å justere grepet.
Illustrasjon av prinsippet bak berøringsstyrt robotmanipulasjon i T-Rex, ikke et bilde fra forskernes forsøk.Illustrasjon generert med OpenAI for Progress Radar

En robot kan se en nøkkel og planlegge hvordan den skal dreies, men synet alene forteller ikke hvor hardt fingrene presser eller om grepet er i ferd med å gli. I slike oppgaver må en robot kunne justere kraften mens den beveger seg.

5. november presenterte Panasonic og forskningspartnere systemet T-Rex, en KI-modell som kombinerer planlegging fra kameraer og språkinstruksjoner med raskere korrigeringer basert på berøringssensorer i fingertuppene. Resultatene skal presenteres på Conference on Robot Learning (CoRL) 9.–12. november. Den tilhørende forskningsartikkelen var allerede lagt ut som et forhåndstrykk i juni 2026. Nyheten nå er den offentlige presentasjonen, ikke at forsøket først ble gjennomført denne uken.

To hastigheter i samme styring

Tradisjonelle syn–språk–handling-modeller, ofte kalt VLA-modeller, lager robotbevegelser ut fra bilder og instrukser. Men den visuelle delen kan være for langsom til å reagere når en gjenstand begynner å skli eller deformeres.

T-Rex bruker en langsommere modul til å generere hovedbevegelsen, omtrent fem ganger i sekundet. En separat berøringsstyrt modul kan korrigere bevegelsen omtrent 20 ganger i sekundet. Forskerne forsøker dermed å beholde den overordnede planen samtidig som roboten kan reagere raskere på kontakt.

Trent på video og berøring

Forskerne oppgir at systemet først lærte fra 22 889 timer med menneskelige førstepersonsvideoer. Deretter brukte de et eget datasett med over 7 700 sekvenser, til sammen rundt 100 timer, med tohånds robotmanipulasjon.

Dette datasettet kobler sammen kamerabilder, instruksjoner, robotbevegelser og kraft- og deformasjonsmålinger fra sensorer på ti fingertupper. Modellen ble deretter tilpasset hver oppgave med omtrent 100 demonstrasjoner. Tallene beskriver treningsoppsettet, ikke hvor mye data en ferdig robot nødvendigvis trenger i drift.

65 prosent i en avgrenset test

Forskerne vurderte T-Rex på 12 oppgaver med fysisk kontakt, blant annet å bla om en side, flytte et egg, ta ut et kort, åpne en lås med nøkkel og skru inn en lyspære. Hver oppgave ble testet i 16 forsøk med varierende utgangsposisjoner.

T-Rex oppnådde 65 prosent i gjennomsnitt på forskernes oppgaveskår. Den sterkeste sammenligningsmetoden oppnådde 35 prosent. Det er en forskjell på 30 prosentpoeng, ikke en forbedring på bare 30 prosent. I en separat analyse uten berøringsinformasjon falt T-Rex-skåren til 42 prosent.

Det er viktig å tolke målet riktig: Flertrinnsoppgaver kan få delvis uttelling for gjennomførte delsteg. Gjennomsnittet er derfor ikke nødvendigvis andelen forsøk der hele oppgaven ble fullført. Sammenligningen mellom ulike modeller kan heller ikke alene isolere virkningen av berøring; analysen der berøring fjernes, gir mer direkte støtte for denne delen av systemet.

Ikke en ferdig allsidig robot

Forsøkene viser at raske berøringssignaler kan være nyttige i oppgaver der kraft og kontakt endres underveis. Men 12 kontrollerte oppgaver er ikke dokumentasjon på at systemet kan håndtere vilkårlige gjenstander eller uforutsigbare arbeidsmiljøer.

Panasonic peker på mulig bruk innen produksjon og logistikk, for eksempel montering og håndtering av skjøre varer. Det er foreløpige anvendelsesområder, ikke dokumenterte kommersielle utrullinger. Før en slik løsning kan tas i bred bruk, må den testes på langt flere oppgaver, roboter og miljøer.

Kilder

← Tilbake til alle nyheter