Gabriel Skantze har forskat i konverserande system på KTH i 15 år.  

Gabriel Skantze

– Utöver tillämpningar i sig, har vi forskare ett djupare intresse för att förstå samtal mellan människor. Hur går de till och vilka signaler finns?

Området är tvärvetenskapligt. Lingvister, fonetiker, psykologer och etnologer har funnits i fältet länge. Nu har datavetare, robotbyggare och AI-forskare anslutit sig.

I början handlade hans konversationsforskning om telefonsamtal, det vill säga bara om röst.  Sedan några år är det robotar som gäller. 

– Det skulle vara konstigt att interagera med en robot via fjärrkontroll. Det är naturligt att man vill prata med den.

Med robotarna blev kroppskommunikation och de signaler som används där, ett centralt forskningsämne. 

Roboten är inte bara objektet för forskningen, utan också ett verktyg för att studera interaktion mellan människor.

I en försöksuppställning sitter Furhat framför två människor och spelar ett triviakortspel med enkla regler. I själva verket är det ett experiment kring social interaktion. Hur fördelas samtalstiden mellan en man och en kvinna? Kan Furhat påverka fördelningen genom att prioritera vem den vänder sig till?

Så kan människor studeras med hjälp av en robot.

Roboten i sig kan också studeras. Exempelvis för att testa om olika turtagningssignaler fungerar. Det vill säga om dess uttrycksmöjligheter räcker till för att berätta att den vill ha ordet, eller för att berätta vem den vill tala med. 

Eller om den kanske vill ha mer betänketid. Jo, den kan säga ”öööh”, precis som en människa. Eller flacka med blicken för att visa att den vill ha ordet.

– Om jag säger något till dig och du fortsätter titta på mig är det en signal om att du vill att jag ska fortsätta prata. Men om du tittar ner är det en signal att du tänker svara.

Människor använder signaler av detta slag utan att vara medvetna om det.

– Om man programmerar in sådant beteende i roboten visar det sig att den får ganska stor kontroll. Människor är bättre än jag trodde på att plocka upp de här signalerna från roboten.

Om du interagerat med Furhat på Tekniska museet eller andra platser där den ställts ut, blev du själv en del av forskningen. 

Interaktionsdata spelades in och används bland annat för att bygga maskininlärningsmodeller för hur roboten ska tolka omgivningen och bete sig. Till exempel för att roboten ska veta exakt när det är lämpligt att försöka ta turen i samtalet.

– Människor skickar massor av signaler – huvudrörelser, blickar, tonfall i rösten – som samverkar för att signalera om man själv vill fortsätta prata, eller om man vill överlämna ordet till den andra människan eller till roboten.

Forskarna märker upp de platser i inspelningarna där det är lämpligt och olämpligt att ta turen, och så får modellen försöka hitta mönster i signalerna för att kunna bygga upp ett eget omdöme.

– Det är för komplext för att försöka skriva regler. Detsamma gäller andra områden inom språkförståelse – maskininlärning har blivit ett generellt verktyg här.

Känns Furhat smart när man interagerar med den?

– Någon jämförde det med att prata med någon som är hörselskadad, skrattar Gabriel Skantze.

Problemet är att Furhat långt­ifrån förstår allting som sägs till den. Det är tillåtet för de som deltar i spelexperimentet att tala helt fritt. Så Furhat måste använda olika strategier för att låtsas förstå, för att det ska kännas som ett samtal. Det gör även vi männi­skor ibland, men Furhat gör det oftare. 

– Så det är inte inte som att prata med en riktig människa. Där är vi inte än. 

– Men att överhuvdtaget kunna prata i ett fritt samtal är häftigt. Annars är man van vid Siri, att ställa en fråga och får ett svar. Det är inget samtal. Så pratar man inte med en vanlig människa.

Det finns japanska robotar byggda i silikon som ser väldigt mänskliga ut. Men eftersom de inte riktigt beter sig mänskligt kan de kännas kusliga, som zombies. Effekten kallas ”uncanny valley”.

– Vi har lyckats bra med att undvika det. Det beror dels på att Furhat inte är överdrivet mänsklig i sitt uttryck, utan mer serietidningsartad. Dessutom kan vi arbeta med subtila ansiktsrörelser på ett sätt som är svårare att göra mekatroniskt så att det ser naturligt ut.

Var kommer de första sociala robotarna att användas?

– Säg en hotellreception med två robotar och en människa, som tar hand om mer komplicerade fall. Det skulle kunna finnas om några år. Tror jag.

Ett annat framtidsscenario är att ha en på Ikea robot som svarar på frågor och hjälper kunden hitta.

Sociala robotar kan vara extralärare i skolar på övningar, eller på raster – Furhat praktiserar redan som lärarassistent i några skolor i Stockholm.

En annan spännande kategori kallas social simulering.

– Vi har ett samarbete där roboten spelar patient för studenter som lär sig psykoterapi. Då blir det väldigt viktigt med det vi gör – ansiktsuttryck – för att det ska kännas realistiskt.

Äldre ensamma kan komma att ha en robot som inte bara påminner om att ta mediciner, utan också ger kognitiv träning och ställer diagnoser. Och för rent socialt umgänge. 

Inom det området har Furhat ett samarbete med Honda som vill utveckla Furhat som ett konversationsverktyg för äldre människor i hemmet. 

Sjuttiotalets industrirobotar programmerades och sedan avlägsnade man sig från dem. Men idag finns ”cobotar” som Yumi och Baxter, som jobbar tillsammans med människor vilket betyder att de har behov av sociala färdigheter.

– Inte i bemärkelsen prata väder, utan att man inte bara ska kunna ge dem instruktioner genom att visa, utan också genom att att tala.

Sociala robotar används redan idag som träningsredskap för autistiska barn, som ofta har problem just med att läsa andra människors ansiktsuttryck och blickar.  

Barnen tränar på roboten och man hoppas att de kan föra över färdigheterna till människor.