Stora språkmodeller och chattbottar har totalt förändrat förutsättningarna för programutveckling. Nu vill Lars Erik Holmqvist, professor i design och innovation vid Nottingham Trent-universitetet i Storbritannien, undersöka om samma metoder också kan revolutionera hårdvaruutveckling.

Lars Erik Holmqvist har en bakgrund som interaktionsforskare, bland annat på Sics (numera Rise), och leder just nu ett forskningsprojekt ”Conversational Prototyping” där målet är att utvecklare och användare gemensamt ska kunna ta fram fungerande prototyper av nya produkter genom att diskutera med ett AI-system. Just ”diskutera” – tanken är att se utvecklingen som en pågående dialog.

Lars Erik
Holmqvist

– Språkmodellerna är bra på att läsa av intentioner och föreslå successiva förbättringar. De erbjuder ett bra gränssnitt för utveckling, säger Lars Erik Holmqvist.

– Många robotforskare använder redan språkmodeller i sin programmering, så kunskapen hur man ska använda dem finns där.

I programmerarsammanhang har metoden kommit att kallas ”vibe coding”: beskriv i stora drag för en språkmodell vad du vill åstadkomma och den skriver koden åt dig. Testa, berätta vad som behöver förändras, och kör processen ett varv till. Men nu ska det alltså göras för fysiska produkter som interagerar med sin omgivning genom tryckknappar, sensorer och skärmar.

Idén dök upp för drygt två år sedan, efter en del experimenterande med Chat GPT för programmering.

– Jag började fundera på om man kunde få Chat GPT att göra någonting fysiskt. Istället för att be den om kod för att tända en lampa ville jag få den att tända lampan själv. Det var så projektet föddes.

– Första gången jag frågade om den kunde tända en lampa svarade den för övrigt ”absolut inte”, det var visst en alldeles för trivial uppgift. Men efter ett tag gick det bättre.

Huvudmålet för Conversational Prototyping är att producera en testbädd som illustrerar hur dialog-prototypande av fysiska produkter kan gå till, samt förstås att utvärdera om det är bättre än direkt kodning på klassiskt vis. Som ett exempel på vad en dialog kan tillföra nämner Lars Erik Holmqvist ett spel som tagits fram inom projektet, där tre tryckknappar med olika färg – röd, blå, grön – tänds och släcks.

– Vi hade kommit till ett läge där direkta kommandon fungerade. Skriv ”tänd den röda knappen” och den tänds. Då frågade vi ”kan du tända lila?” och man såg att språkmodellen tänkte efter ett ögonblick innan den tände både den röda och den blå knappen. Det var kunskap som fanns i modellen, det var ingenting vi hade lärt den.

Ett annat, och kanske tydligare, exempel på hur det skulle kunna fungera finns i en konceptfilm som projektet har publicerat:

där en liten robot, modellerad efter huvudfiguren i Pixarfilmen Monsters, Inc., först visar att den kan vifta med en arm i taget – det kommandot är direktkodat – innan operatören aktiverar språkmodellen och ger kommandot ”Dance like Monster”.

Artikeln är tidigare publicerad i magasinet Elektroniktidningen.
Prenumerera kostnadsfritt!

Cute? Javisst, men också praktisk nytta. Det hade tagit sin tid att programmera in dansstegen med direkt kodning, men AI gjorde jobbet. Även om det skulle krävas ett par iterationer för att få det så bra som på filmen är det fortfarande lättare än att koda för hand. Och det är där dialog-prototypandet en dag kan bevisa sitt värde: genom att göra det lättare att gå från en rå vifta-på-armen-prototyp till någonting som faktiskt dansar.

– Det första steget i att konstruera en fysisk produkt är i allmänhet att bygga en enkel prototyp som illustrerar idén. Sedan är det tyvärr ett stort steg att gå från den till en produkt som går att tillverka och sälja i stor skala, och vi hoppas kunna hjälpa till att överbrygga det steget, säger Lars Erik Holmqvist.

FAKTA

Projektet ”Conversational Prototyping: Leveraging generative AI to support iterative device production and testing” har fått finansiering, £100 000, av Pro2, ett brittiskt forskningsnätverk som drivs av en lång rad universitet samt Microsoft Research. Projektet inleddes i september 2024 och ska avslutas nu i oktober.

Det har tre uppsatta leveransmål:

1. Den testbädd som beskrivs i artikeln.

2. En uppsättning prompter och kommandon för språkmodellen.

3. En utvärdering av arbetssättet, jämfört med traditionell kodning.