En mobil som släcker skärmen så fort du tittar bort. En dörr som öppnas automatiskt när du viftar med handen framför den. En bil som piper när du håller på att backa in i något.

Det är exempel på Embedded vision – bildanalys eller datorseende i inbyggda system, i realtid.

Moores lag, smartare algoritmer, billigare kameror, nya sätt att fånga bild – allt detta medverkar till att sprida Embedded vision till fler nischer och göra tillämpningarna mer imponerande.

Också hårdvaran blir bättre allteftersom intresset för området ökar. I somras bildades branschorganisationen Embedded Vision Alliance. Platinamedlemmarna domineras av stora leverantörer på hårdvarusidan: Intel, AMD, Analog Devices, Texas Instruments, Freescale, Maxim, Nvidia, Xilinx och Ceva.

Intresset betyder exempelvis att Analog Devices kan visa upp processorer med inbyggda acceleratorer för bildanalys. Uppgifter som att detektera kanter och beräkna histogram görs i en tolv steg lång pipeline utan tids­ödande mellanlagringar i minnet.

Utvecklingen gör att allt mer av intelligensen kan hanteras i realtid direkt i kameran, istället för att hänvisas till en separat server. Analys i kameran kommer att vara standard i nätverkskameror inom ett par år. De levereras redan idag med mjukvara för bildanalys på köpet. Och den mjukvaran kommer att bli mer avancerad.

Om du tittar på spetstillämpningarna i området Embedded Vision, märker du att många av dem handlar om att titta på – människor.

Systemen räknar männi­skor, identifierar vad de tittar på, upptäcker människor som klättrar över staket, varnar bilister som håller på att somna och följer individer som rör sig.

Självkörande bil

Trafiksäkerhetsverket är omättligt – liv kan man inte rädda för många – nya säkerhetskrav skapas historisk så fort de gamla uppfylls. Bilar använder – eller kommer snart att använda – kameror som varnar för filbyte, läser trafikskyltar, varnar för kollision och upptäcker fotgängare.

BMW, Saab och Volvo experimenterar med bilar som i olika hög grad kör autonomt. Google har kommit längst med sin helt självgående bil – fortfarande dock under manuell övervakning och med Googles egna gatufotografier som viktig referens.

Att identifiera människor med optik är i sig inget nytt – det är vad fotoceller ofta gör. Men analysen har blivit mer sofistikerad.

–  Man kan beskriva det som en svårighetstrappa. Första steget kan vara att avgöra om där finns någonting överhuvudtaget – där räcker en fotocell, säger Emil Hällstig, som bland annat är forskningssamordnare på svenska Optronic.

– I nästa steg vill du peka ut var objektet är. Sedan vad det är – människa eller tidning. Sedan vem det är – Jan eller Emil?

– Det som ligger högst i svårighetsskalan är att beskriva människors beteende – vad de gör – och dra slutsatser om vad som är avvikande och intressant.

Det sistnämnda är ameri­kanska krigsforskningsinstitutet Darpa intresserat av. Det vill använda smarta kameror som spejare i fält i projektet Mind’s Eye.

Automatiken ligger inte i närheten av den rapport man får från en mänsklig spanare. Men försök pågår att automatiskt kategorisera vad som sker i bilder, kanske för att i ett framtida första steg automatiskt kunna larma för scener som ett mänskligt öga borde ta en vidare titt på.

Darpas datorer kan enkelt följa efter människor som rör sig i bilden. Men redan lite komplexare händelser är svårare, som att upptäcka att två människor närmar sig varandra eller slår eller sparkar varandra.

Det finns exempelvis inget system som klarar Darpas referensmaterial bättre än slumpen när det gäller att upptäcka att A överlämnar ett föremål till B. Om objektet hålls dolt för kameran vid överlämnandet blir uppgiften ännu svårare.

Också i handeln vill man spåra människor. Nästa gång du dröjer kvar framför en butikshylla, och ett biträde dyker upp, kan det tänkas att ordern kom från en intelligent kamera, som noterat ditt beteende.

Kinect en 3d-kamera

Den stora snackisen bland människoföljande kameror är Microsofts spelkontroll Kinect. Vissa tror den kommer att göra för geststyrda gränssnitt vad Iphone gjorde för touch.

Sensorn består av en projektor, en IR-kamera, en färgkamera och fyra mikrofoner. Den identifierar och följer i realtid upp till sex människokroppar i synfältet, varav två beskrivs i skelettmodeller.

Utöver RGB-video får utvecklaren 3D-koordinater för 20 punkter i skelettmodellerna och avståndet från kameran till vart och ett av 320 x 240 eller 640 x 480 bildpunkter, beroende på bildfrekvens.

Microsoft har släppt Kinect för andra att experimentera med.

Den används hittills mest av hobbyister, spelutvecklare och konstnärer. Men en vision för den nära framtiden är att Kinect i hemmet exempelvis skulle kunna användas för att tända ljus eller styra teven – genom handviftning eller helt enkelt bara genom att en person befinner sig i rummet. Kanske ser Kinecten också vem som viftar och kan starta teven på rätt kanal.

Kinect introducerar avancerad 3d-bildanalys för en bred allmänhet. Den projicerar ett mönster av prickar i IR-ljus och mäter avstånden till dem via triangulering. Därmed går det att utläsa scenens djupstruktur – kameran fångar tre dimensioner och inte bara två som i klassisk bildanalys.

En annan 3D-kamera, men för professionellt bruk, utvecklas av svenska Fotonic. Den ritar inget mönster utan blinkar med en laserlampa i 44 MHz och mäter tidsavståndet för reflektioner.

– För industriellt bruk har vi den mest robusta kameran när det gäller omgivningsljus och den bästa vad gäller att hantera rörelse, säger Rickard Åström, vd för Fotonic.

Med den tredje dimensionen, z-koordinaten, blir plötsligt vissa svåra problem enkla, som att inte låta sig luras av skuggor.

Fotonic har pilotprojekt inom robotautomation och personsäkerhet.

Embedded 3D-vision är ett nytt område och Fotonics kamera levererar ”bara” 160 x 120 bildpunkter.

– Men jag tror utvecklingen av upplösningen kommer att följa samma trend som 2D-sensorerna, säger Rickard Åström.

Kinetic används för att styra användargränssnitt. Där finns också svenska Tobii. Men där har man vänt kameran åt ett annat håll – den tittar på ögat för att se vart ögat tittar.

Kinecttekniken behöver yviga gester. Tobii klarar sig med en diskret förflyttning av blicken.

Tobiitekniken började som handikapphjälpmedel för förlamade. I nästa generation plockades den upp av forskare och reklamfolk som fick värdefull återkoppling – var tittar folk? Hur länge? Tittar de där vi vill?

I nästa generation ska tekniken integreras i en liten laptop – den demonstreras på mässor. Smarttelefoner ligger ännu utom räckhåll.

Tobii ser dig i ögonen

På sikt ska ögonstyrning bli ett standardgränssnitt vid sidan av tangentbord och mus. Detta var Tobiis plan redan från första början. Och nu har Intel investerat 21 miljoner dollar i företaget.

Redan idag används Tobii av professionella CAD-designers – att titta går mycket snabbare än att positionera en mus.

Svenska Smarteye gör samma typ av produkt – men de två – från KTH respektive Chalmers – inriktar sig på olika tillämpningsområden.

Kameror kan räkna in- och utpasserande i butiker. När en i taget passerar in eller ut, är människor bättre på att räkna. Men redan när tre, fyra personer passerar in och ut samtidigt är kameror idag duktigare på att räkna rätt.

Här finns en svensk representant i Cognimatics, vars produkter kan räkna både människor och cyklar, och klocka hur lång tid människor dröjer sig kvar framför en reklammonter.