När amerikanska soldater landar för en gryningsräd så är det inte första gången. De har redan gjort det i en 3D-simulator.

Byggnader och terräng i en sådan simulator har en svensk koppling. De skapas ur bilder tagna från låghöjdssatelliter och den kanske främsta programvaran för 3D-rekonstruktion av det slaget skapas på ett kontor i Linköping.

Rymdbolaget Maxar är sedan sommaren 2020 ägare av detta kontor, som innan köpet var känt som Vricon, ett namn som svenska chefen Leif Haglund fortfarande lätt återfaller till.

Anorna går tillbaka till Saab, som spann av tekniken år 2008. På den tiden byggde inte 3D-modellerna på satellitbilder utan på flygfotografier tagna på 600 meters höjd. Från dem skapades de 3D-kartor som du tidigare kunnat se på Hitta.se.

Behovet av satellitbilder föddes när det blev aktuellt att kartlägga områden som det är för farligt för piloter flyga på låg höjd över.

Efter flera turer – inklusive en prislapp år 2011 på 250 miljoner dollar för ett bolag som då bestod av 25 personer – är ”Vricon” idag ett svenskt dotterbolag till amerikanska rymdbolaget Maxar. 

Artikeln publicerades i magasinet Elektroniktidningen  i maj 2022 Prenumerera kostnadsfritt!

Maxars satelliter scannar jorden från låghöjdsbana och styckar upp dem i bilder som Linköpingsalgoritmerna analyserar.

Genom att göra triangulering på ett antal överlappande satellitbilder tagna ur olika vinklar, bygger tusen bladservrar hos Maxar upp 3D-modeller av det som finns på marken. 

Poängen med 3D-modeller är att de kan visualisera mycket som 2D-bilder missar – ett stup i obekant terräng, för att ta ett exempel ur verkligheten.

Exemplet med räden är inte slumpmässigt valt – amerikanska armén är den största kunden för 3D-kartorna. 

Leif Haglund

– De ser att det är det nya sättet att generera deras världskarta. I en operationell miljö är det satellitbilder som gäller. Kanske skickar man in en drönare för att höja upplösningen, säger Leif Haglund.

Men det finns gott om civila tillämpningar. Ett afrikanskt land vill exempelvis ha kartor med hus och ruckel markerade och räknade, kanske för skattskrivning. 

I det fallet används även maskininlärda algoritmer som verktyg. Maskininlärning hjälper även till när byggnader och vegetation ska raderas från bilder. Mobiloperatörer vill ha geografiska höjdkartor som ser ut på det viset när placeringen av basstationer planeras. Det har varit särskilt intressant inför 5G-utrullningen.

Av Linköpingskontorets 65 anställda på tekniksidan arbetar kring 15 med maskininlärning. Genom att applicera djupa neuronnät på bilder går det bestämma vad som fotograferats – vatten, olika typer av väg, broar, järnväg, olika marktyper, et cetera. 

– Det hade vi inte kunnat göra med traditionell signalbehandling.

Här är ett ytterligare exempel. Om du vill planera var du ska bygga fördämningar mot översvämning så vill du ha en 3D-karta. Men du vill också veta markens beskaffenhet för att kunna göra bra prognoser, eftersom exempelvis parker släpper igenom vatten medan den stannar på asfalt. Metoden ifråga är under utveckling och hittills inte testad skarpt.

Vid sidan av tillväxten i datorkraft är det genombrottet för maskininlärning under 10-talet som gjort störst praktisk skillnad på sistone för hur det är möjligt att massbearbeta satellitdata.

Nästa generation Maxar-satelliter kanske till och med gör maskininlärning på egen hand för att spara bandbredd. För att exempelvis filtrera bort moln och vatten eller bara rapportera bilder på det objekt som är intressant för tillfället, som ”båtar”. 

– Eller för att rapportera det som ”förändrats”. Det kan definieras på många olika sätt och kräver ofta en semantisk tolkning.

Att dokumentera förändring mellan bilder tagna vid olika tillfällen är ett tillämpningsområde som blivit högaktuellt. Moderbolaget Maxar har varit i nyhetsflödet under kriget i Ukraina. Det har publicerat satellitbilder på ryska trupper sedan redan innan invasionen och har dokumenterat effekter av bombning.

Mest känt är satellitbilderna på döda kroppar på gatorna i Butja. Bilderna visar att de fanns där innan ryska armén drog sig ur staden, i strid med Rysslands uppgifter.

Kriget omges av desinformation. Men Leif Haglund är en av de människor som verkligen vet att bilderna ser likadana ut idag som när de lades in i arkivet.

En av anledningarna till att Maxar existerar är att det ger möjlighet för USA att dela med sig av bilddata till allierade och till hela den fria världen.

– Samtidigt kan USA behålla sina spionsatelliter och deras förmåga för sig självt. 

– Det är det som hänt i Ukraina nu. Maxar delar med sig av data och skapar transparens kring vad som händer. Det är första gången det sker storskaligt i ett krigsläge. 

Tidigare har bilddata släppts vid naturkatastrofer, senast vid vulkanutbrottet på Tonga och skogsbränderna i Kalifornien.

Linköping har ytterligare algoritmer i verktygslådan. Säg att du har färsk högupplöst drönarvideo på en ungefärlig position – då kan Linköping transformera in det i samma koordinatsystem som den satellitbaserade 3D-kartan, så att drönarvideon blir en högupplöst del av den. Det kallas registrering. 

En framtida möjlig tillämpning för 3D-kartorna är navigering där GPS inte finns tillgängligt. Flygplan kan hitta sin exakta position – och höjd, riktning, och vridning – genom att jämföra 3D-kartan med marken under sig. När inga moln är i vägen går det som smidigast.

Tekniken utvärderas bland annat för det svenska militära flygplanet Gripen.

– Vi har gjort demos och tester. Ingen har navigering av det slaget med samma noggrannhet idag, för det finns inga andra kartor med den noggrannheten.

Bilder tagna ur lite olika perspektiv pusslas samman till en 3D-modell

Maxar och dess konkurrenter Amerikanska Maxar står på två ben. Det ena är tillverkning av rymdteknik, främst kommunikationssatelliter – hundratals vid det här laget – men även exempelvis en robotarm på en Marslandare och verktyg på rymdfärjor. – Maxar har kompetens i hur konstruktion görs för rymden, säger Leif Haglund. Det andra benet är kommersiell verksamhet kring bilddata från egna satelliter. Maxar satsar på ett fåtal dyra avancerade satelliter medan exempelvis konkurrenter som BlackSky och Planet Labs satsar på många små, med upplösning på bara 90–100 cm, enklare mekanik, och kortare livslängd.  – Ska jag raljera är de en systemkamera med gps, bra vinkelmätare och kanske med 100 meters noggrannhet i sida. Men eftersom de är billigare kan man skicka upp många fler. Europeiska Airbus är en rakare konkurrent med satelliter med samma upplösning som Maxar.  – Fast deras arkiv är kanske bara tio, femton procent av Maxar. Från Maxar kan du köpa satellitdata och få det direkt nedtankat från omloppsbanan till din egen markstation.  – Det är en stor kundgrupp. De köper minuter på satelliten.  Eller så kan du köpa bearbetade data. Det är där Linköpingskontoret kommer in i bilden.  Det finns gott om konkurrerande satellitbildsanalys. En del bygger till och med på gratis bilddata, som Nasas nu femtioåriga projekt Landsat. De flesta av dem kan inte konkurrera med Maxars kvalitet. Exempelvis har europeiska rymdorganisationen ESA:s satellitbilder bara en upplösning på 10 meter.  – Men det går att göra mycket även med dem. De kan täcka jorden snabbare.  – Allt beror på vad man är ute efter. Om man ska hitta ett stort skepp på havet kan tiometerspixlar fungera bra. Men ska du identifiera skeppet i fråga kanske du behöver meterupplösning.  Tre av Maxars satelliter ger en upplösning på 45 cm. Den fjärde, liksom ytterligare sex som skjuts upp snart, ger 31 cm.  Maxars satelliter kostar miljarder kronor och har en kalkylerad livslängd på kanske tio år. De sex nya kommer att placeras runt ekvatorn, där de flesta storstäder – och oroshärdar – ligger. – Efterfrågan är störst där. Militära satelliter är ännu bättre. De kan bära med sig mycket mer bränsle och kan navigera friare över himlavalvet. Och kostar ytterligare en nolla.

Så skapas 3D-modellerna Algoritmerna har anor tillbaka till Saab På kontoret i Linköping skapas algoritmer för bildanalys och visualisering. Programvaran skrivs i C/C++ och OpenGL, ett kodbibliotek för grafikberäkningar på parallelldatorer.  Ett verktyg som inte är skapat in-house är databaser över jordens form – det behövs överallt lokal kompensation för att den inte en perfekt sfär. Linköpings programvara laddas i Maxars datacentral där tusen bladservrar bearbetar satellitbilderna.  – Algoritmerna är hårt optimerade för att tugga snabbt. Just nu skapar de ungefär två miljoner kvadratkilometer 3D-modeller per månad. – Fyra och ett halvt Sverige i månaden. Jag tror vi är uppe i 47 miljoner kvadratkilometer nu. Kvaliteten på de skapade 3D-modellerna granskas av mänskliga ögon. 100 personer jobbar med detta. De kan skruva på parametrar och ge servern en ny chans att producera ett rimligare resultat om utdata ser orimliga ut. Maxar har föresatt sig att producera en 3D-modell av hela planeten jorden. Ett gigantiskt arkiv av satellitbilder – 126 petabyte – ligger och väntar på att betas av.