Hololens är inte enkel att beskriva. Det är ett holografiskt AR-headset som Microsoft väljer att presentera som mixed reality.

Likt förstärkt verklighet (AR) blandas här den verkliga världen med den virtuella. Men till skillnad mot AR – där saker är framför dig och följer med dig när du rör dig – visar mixed reality hologram som ligger stilla i tid och rymd.

– Hololens är en dator på ditt huvud. Den skapar hologram framför dig och du kan interagerar med den fysiska och den virtuella världen på samma gång, säger Suni Acharya, som arbetar med utvecklingen på Microsoft.

Den första versionen – Hololens 1 – har funnits ett tag. Först släpptes den till utvecklare och företag i USA och Kanada, och för knappt två år sedan kom den till Sverige.

Jag testade den i september, när jag besökte Microsofts huvudkontor i Seattle. Det var riktigt häftigt att se en haj vila i luften mitt framför ögonen – och att obehindrat kunna gå runt hajen, se den bakifrån, när jag själv rörde mig i rummet.

Tyvärr satt enheten inte riktigt bra på huvudet. Det är också en detalj som Microsoft lagt stor vikt vid att förbättra i den nya version som just släppts i USA, och att antal andra länder.

Den första generationen rekommenderas att bäras högst en timme eller två åt gången, men tanken är att en enhet ska kunna bäras bekvämt i flera timmar under en arbetsdag.

Suni Acharya på Mems & Imaging Sensor Summit i franska Grenoble.

– Vår andra generation, Hololens 2, är stor men betydligt bekvämare. Vi har lagt mycket tid på att studera demografi och hur skallen är formad, säger Suni Acharya, på Mems & Imaging Sensor Summit i franska Grenoble.

– Hur bekväm den är beror på väldigt många detaljer, men handlar till stor del om hur vikten är distribuerad.

Batteriet är till exempel numera monterat på baksidan, så att belastningen på nacken minskat. Likaså har hårdvaran distribuerats över enheten på ett annat sätt än tidigare, så att headsetet ska känns mer balanserat.

– Det är lite av den hårdvaran, främst sensorerna, som jag nu för första gången kommer att berätta om, säger Suni Acharya.

Suni Acharya hamnade på Microsoft när företaget köpte den lilla sensorspecialisten Canesta för tio år sedan.

Innan köpet hade Canesta uppmärksammats för en teknik som gjorde att det gick att styra en tv med gester.

– I tio år jobbade jag med att utveckla 3D-sensorer som använder Time-of-Flight-teknik. Därefter har jag arbetat lika länge på Microsoft med att ta in teknik, först i konsolen Xbox och sedan i Hololens, säger han och tillägger:

– Nu är vi inne på den fjärde generationen med en pixelstorlek på 3,5 µm. Det är industrins mest avancerade ToF-sensor.

Time-of-flight (ToF) används för att få djupseende. I sitt ur­sprung bygger tekniken på att man mäter tiden från det att ljuset skickas ut tills att det reflekterade ljuset kommit tillbaka. Numera tittar allt fler företag på så kallad indirekt ToF-teknik.

Det innebär att det utsända ljuset moduleras med en sinusvåg, varmed fasskillnaden mellan skickat och mottaget ljus detekteras. Det är en sådan 1 Mpixel-sensor Microsoft utvecklat och använder i Hololens 2.

– ToF-sensorns främsta uppgift är att följa handens rörelser och att hålla koll på omgivningen.

För att skapa en bild av omgivningen har enheten fyra kameror som ser över hela spektrumet av synligt ljus. Data från kamerorna kombineras med IMU-data, det vill säga data från accelerometrar, magnetometrar och gyron.

– Med detta bygger vi en karta av den fysiska världen. Vi använder något som kallad 6DoF-transformation, som gör att vi spårar både position och vinklar i tre dimensioner. Vi måste säkerställa att inget tappas bort under spårningen.

– Slutligen använder vi detta data för att rendera. Det sker i vår HPU, som tillåter att vi visar hologram och i realtid korrigera för alla huvudrörelser som sker.

HPU, kort för Holographic Processing Unit, är en ”holografisk” processor som Microsoft skräddarsytt för uppgiften.

– Algoritmerna stöds av neurala nätverk och ger mellan 17 och 21 leder i handen. Det ger naturliga handrörelser och skapar en haptisk funktion som gör att du kan leka med hologrammet, som reagerar tillbaka.

Nytt i Hololens 2 är att två ir-kameror stoppats in i enheten. De används för biometrisk inloggning, automatisk visnings­inställning (auto view tuning) samt ögonföljning.

Den automatiska visningsinställningen är viktig för att displayen ska kunna anpassa sig och presentera ett hologram för en viss individ.

– Olika personer har väldigt olika ögon, olika form, avstånd mellan pupiller, de sitter olika djupt och så vidare. Kamerorna för ögonföljning måste kunna hantera olika utseenden och om användaren bär glasögon.

Denna artikel har tidigare publicerats i magasinet Elektronik­tidningen. För dig som jobbar i den svenska elektronik­branschen är Elektronik­tidningen gratis att prenumerera på – våra annonsörer betalar kostnaden. Här tecknar du prenumeration (länk).

Suni Acharya avslöjar även att man gömt LED:er i enheten. LED:erna följer ir-kamerorna och är där för att stödja algoritmerna som är baserade på så kallad glints tracking.

– Vi använder DNN-algoritmer för ögonföljningen.

DNN är djupa neurala nätverk och väldigt synonymt med att bygga en 3D-modell likt hur vår hjärna tänker. Med hjälp av de avancerade algoritmerna och den holografiska processorn beräknar systemet i realtid ögonens position och blicken genom att betrakta olika delar av ögat, exempelvis pupillen och mönstret i iris.

Under hela sin presentation betonar Suni Acharya att det ”nya Microsoft” är öppet. Han menar att vågen av mixad verklighet driver på öppenhet till skillnad mot den tidigare datorvärlden som begränsades av stängda ekosystem

Hololens2 stödjer exempelvis öppna API:er och drivrutiner.

– Du kan använda vanliga utvecklingsplattformar som Unity, Unreal och Vuforia för att skapa upplevelser.

För att få utvecklare att börja bygga appar och upplevelser för mixad verklighet har Microsoft skapat utvecklingsprogrammet HoloLens 2 Development Edition. Till det kan alla ansöka.