Ett bakom-kulisserna-reportage för en actionfilm eller datorspel är en bra introduktion om du vill förstå vad Qualisys håller på med. Där används ofta motion capture, ”mocap”.

Du ser skådespelarna märkas upp med små vita bollar på kroppen innan de filmas. Bollarna blir referenspunkter som gör det möjligt att addera digitala specialeffekter runt kroppen.

Punkternas koordinater beräknas genom bildanalys direkt inuti Qualisys kameror. Punkterna är de enda data som strömmar ur kamerorna. Ingen video, normalt. Punkterna bildar en sorts animerad streckfigur.  Mätningen kan i princip beskrivas som en sorts modellbaserad videokomprimering.

En ensam kamera ger 2D-koordinater. Två kameror och lite geometri ger absoluta 3D-koordinater. Typiskt används ytterligare kameror för att kunna se scenen ur olika vinklar och för att öka precisionen.

Analysen sker med sådan realtidsprestanda att det till och med går att bygga en reglerloop. Det fanns i företagets allra första tillämpning – en svajande hamnkran. Kameran tittar på den klo som greppar containrarna. Koordinaterna rapporteras till en styralgoritm som motverkar svajet i en reglerloop.

Fredrik Müller

– Du kan lasta och lossa på kortare tid, säger Fredrik Müller som genom åren gått igen flera roller på Qualisys, bland annat teknikchef och vd.

Kranarna är numera helt automatiserade men Qualisys reglering används fortfarande. Lösningen har med åren anpassats till allt fler miljöer – från Alaska till Sahara med extrema väder, temperaturer och ljusförhållanden.

Qualisys har gjort mocap sedan 1989.  Människor är långtifrån det enda som mocappas. Qualisys märker upp hästar, bilar, fartygsskrov, fisknät – det dyker ständigt upp nya idéer.

Fredrik Müller tänker på  tekniken som en 3D-linjal.

– Köp ett vanligt måttband på Bauhaus och gå hem och fundera på allt vad du kan mäta  med det!  På bara tio minuter kommer du upp med en ganska lång lista.

– Det är en av våra framgångssagor – att det går att tillämpa mättekniken på så många områden. Det är också vårt lyxproblem – att sortera uppslag och säga nej. Av tio uppslag är det kanske två som är relevanta att lägga tid och pengar på för nyutveckling

Elitidrottare, ortopeder och mekatroniker finns bland kunderna, liksom datorspelsutvecklare, oljeplattformsbyggare och biltillverkare.

– Vi är diversifierade, men störst omsättning har vi inom life science.

Därefter turas entertainment och engineering om att ta andraplatsen olika säsonger.

– Kameratekniken är var vi kommer från – vi har de bästa modellerna i respektive segment på marknaden – bäst precision, högst bildhastighet.

I kamerorna sitter industriella bildsensorer med hög bildhastighet och upplösning. Endast ett fåtal leverantörer finns.

Kamerorna synkas med varandra i ett Gigabit Ethernet med egenmodifierade tidsprotokoll. De tunga beräkningarna sker i FPGA-SoC:er från Altera och Xilinx. Kamerorna uppdragstillverkas i Borås.

De kameror som även spottar ur sig video kan få den fusionerad med streckmodellerna.

– Det ger en dokumentation av vad du tittar på, vilket kan vara lättare att relatera till.

Kanske ligger företagets allra största styrka i systemlösningarna, som vuxit i antal med åren. Läkare vill utvärdera resultatet av en ledoperation. Idrottare vill trimma sina prestanda eller följa skador. Ingenjörer vill testa diverse konstruktioner.

Alla behöver de unika uppställningar av kameror. Och har olika kravbilder.  För underhållning räcker det med en visualisering som ser bra ut, medan en medicinsk tillämpning måste vara exakt – kanske validerad i en studie på ett antal människor.

Å andra sidan ställer underhållning hårdare krav på tillgänglighet.

– Det får inte bli stopp i svindyra produktioner. Det ska komma ut data ur maskineriet hela tiden. Allt ska bara lira.

Qualisys avvaktade länge med underhållningsbranschen, bland annat på grund av behovet att vara nära kunderna.

– Men nu har vi kommit in bra och jobbar med några nyckelkunder.

Så kallad virtuell filmproduktion är ett hett område. En klassisk green screen kan numera ersättas av skärmar som projicerar miljöer runt skådespelarna – ytterligare en ny spännande vertikal att sätta sig in i.

– Det kokar i slutänden ner till en hel del matte – vart kamerorna pekar och var skådespelarna är och vart de  tittar.

En ny tillämpning är ”nästa generations laserdome”. Deltagarna får en VR-hjälm och får leka i en artificiellt genererad miljö. Det kallas LBVR (location based VR). Qualisys roll i lösningen är att filma deltagarna utifrån för att avgöra exakt var de är och vart deras vapen pekar.

– Området har legat på is under pandemin eftersom kunderna har haft stängt.

En av kamerorna är för undervattensbruk.

– Renodlad motion capture under vatten är vi ganska unika på.

Beteendet hos kättingförtöjningar och trålningsnät finns bland vad som studeras. En forskargrupp utvecklar en undervattensrobot som rör sig genom vattnet som en ål. I det projektet ingår realtidsåterkoppling. Syftet är att testa styralgoritmer.

Qualisys kameror används för att utvärdera skalenliga modeller av fartygsskrov och oljeplattformar. De guppar i stora  inomhusbassänger med varierande djup, vågor, vind och förtöjning.

Det finns en handfull direkta mocap-konkurrenter. Då och då dyker det även upp ny teknik och nafsar på nischer. Men Fredrik Müller beskriver såna inbrytningar som positiva, eftersom de sätter ljus på området i sig.

Apples aktuella lidar- och multikamerasensor i Ipad och Iphone kan i princip adressera ett par av Qualisys domäner.

– Och till en mycket mer ringa kostnad. Men jag ser det inte som ett hot utan som något som driver utvecklingen framåt.

Apples gränssnitt är öppet. Företaget kan luta sig tillbaka och låta utvecklare innovera.

– Resultat blir att fler blir medvetna om rörelsemätning, och börjar botanisera och fråga vad mer som vore intressant att kunna göra.

Och så kommer de kanske fram till gränsen för Apples teknik och börjar leta efter industriella lösningar.

– Och då poppar Qualisys upp.

Företaget brukade lägga resurser på att patentskydda sina lösningar. Men Qualisys styrka går inte att kopiera.

– Titta på hela stacken – att reverse-engineera det vore ganska bökigt, för att uttrycka sig kort.

Han räknar upp allt som måste finnas på plats: optik, mekanik, avancerad elektronik, fotogrammetri, 3D-rekonstruktion, inbyggd mjukvara, hårdvarunära programmering (hans egen bakgrund), apputveckling med webbrapporter, frontend, backend och moln.

– Det finns många företag som är duktiga på olika delar – säkert bättre än vi – men det är inte trivialt att baka ihop alltihop. Däri ligger det största skyddet av vår lösning

Maskininlärning får nischer Nuförtiden kan 3D-analys göras med hjälp av den heta teknken artificiella neuronnät och djup maskininlärning. Det kan dock inte konkurrera i prestanda och robusthet med klassisk mocap.  – Vi har hållit på med det internt och vi samarbetar med företag som använder det. Vi tycker deep learning är jätteintressant och det är något vi kommer att fortsätta att jobba med, för att hitta bra tillämpningsområden. Neuronnäten kan inte tävla i prestanda med markörbaserad mocap. – Vi har generellt bättre precision. Med markörer vet du exakt var du mäter. Deep learning går igenom en svart låda, upptränad att ge punkter för ledcentra, som kan vara väldigt bra bestämda. Men det finns ändå en osäkerhet. Du måste lita på det neurala nätverket. Det har börjat ploppa upp specialfall som verkar intressanta att göra markörlöst, men deep learning blir inte en generell lösning för allt. – Personligen tror jag att de kommer att leva sida vid sida eftersom behoven är olika. En nisch för neuronnätsanalys kan vara där det inte går att sätta ut markörer, som under en pågående tävling. En annan idé är hybridsystem där ett fåtal markörer används som referens. Hybrida system är en av styrkorna hos Qualisys. Koordinaterna från kamerorna kan redan integreras med data från exempelvis kraftplattor, muskelmätningssystem och IMU:er. Andras AI-mjukvara integreras redan i systemlösningar. Går neuronnät att använda i en reglerloop? – Nej. Tillämpningar med slutna reglerloopar behöver definitivt vara markörbaserade ett bra tag framöver.  Det går inte att jämföra. Det är väldigt beräkningsintensivt, inte i närheten av realtid. Artikeln är tidigare publicerad i magasinet Elektroniktidningen. Prenumerera kostnadsfritt! En partner i ett samarbete behöver två värstinggrafikkort för sin deep learning-del av analysen. Och den sker inte i realtid. – Fokus för deep learning har hittills varit att få ut något överhuvudtaget.