Händelsekameror levererar inte fotografier som rådata. Det är inte vad de primärt är till för, även om dataströmmen numera kan konverteras till fotografier med hjälp av AI.

Deras specialitet är att detektera förändring. De reagerar på förändringar i ljusstyrka. Sensorytan är täckt av vad vi kan kalla digitaliserade fotoceller. Dagens högsta kommersiella upplösning är 1280 x 720 celler.

Oberoende av varandra bevakar cellerna varsin punkt i bilden. Elektroniken triggas när ljusflödet ändras bortom ett tröskelvärde. När punkten blir mörkare eller ljusare, aldrig annars, lägger cellen på en mikrosekund ut ett tidsstämplat datapaket på databussen med de egna koordinaterna.

Händelsekameror har i sig en extrem dynamik. Dessutom noterar de endast förändring. Det är idealt för övervakningskameror. Jämför här informationen från en klassisk kamera och en händelsekamera. Den senare lyfter av sig själv fram det som är viktigt.

KONVENTIONELLA filmkameror rapporterar samtliga punkters ljusintensitet minst 24 gånger i sekunden. Oavsett om något ändrats. Samtidigt som det i någon annan del av bilden kanske skett en förändring för snabbt för att ens hinna registreras i den aktuella bildfrekvensen.

Händelsekameror har ingen bildfrekvens. Varje cell rapporterar oberoende av de andra och i princip kontinuerligt.

Analysen av var det sker en förändring i scenen är därmed gratis medan ett konventionellt kamerasystem behöver jämföra efterföljande bilder och söka efter skillnader för att peka ut förändringar.

NÄR ETT OBJEKT rör sig i bild ändras minst två pixlar i händelsekameran, en pixel blir ljusare och en blir mörkare. I rådata syns en kontur av objektet om det är homogent belyst eftersom mellanliggande punkter har samma ljusstyrka.

Händelsekameror kan blixtsnabbt dokumentera förändring i en scen. På en mikrosekund i dagens teknik. Den pekar på vad som rör sig eller tvärtom – hur kameran själv rör sig relativt världen när den används för navigering.

Det går förmodligen tekniskt att öka dynamiken bortom de 120 dB som Prophesee valt för sin senaste kamera. Konventionella kameror ligger på upp till 80 dB. 

Bilden ovan: Schweiziska Prophesees sensor i en industrikamera från japanska Century Arks

Händelsekameran har hittat industriella tillämpningar där den extrema prestandan gör skillnad. Här är några av de kommersiella aktörerna.

Den just nu vassaste sensorn släpptes av franska Prophesee i fjol. Sony hjälpte till att lyfta elektroniken. En tvåchipslösning rensade upp kring fotodioderna som därmed kunde dra ner sin pitch från 15 till 5 mikrometer. Elektroniken som triggar vid ljusstyrkeförändring sitter nu bakom fotocellerna i ett eget chip.

Genom att lägga logiken på ett separat chip kunde Prophesee minska cellstroleken dramatiskt

Sensorn loggar upp till en miljard pixelhändelser per sekund. Den drar 32 mW vid 100 000 händelser per sekund och 73 mW vid 300 miljoner. Upplösningen är 1280 × 720. Den dynamiska räckvidden i ljusstyrkan anges som större än 120 dB, 20 bitar.

Har du produktidéer är du välkommen att beställa en kamera från Prophesee och börja experimentera. Företaget bjuder på öppenkod som inkluderar träningsdata, 100 algoritmer, 67 kodexempel och elva tillämpningar.

Det som företaget producerar idag är kameror och algoritmer för specifika industriella tillämpningar, gärna på uppdrag. 

En kamera från nämnda Prophesee räknar piller, fröer, muttrar och annat som passerar framför kameran. Imponerande tusen saker i sekunden kan systemet räkna. En klassisk kamera behöver ta tiotusen bilder i sekunden för att klara detta.

Sensorn har VGA-upplösning och hjärnan är en vanlig mobiltelefonprocessor. En annan tillämpning från samma bolag att är filma hur en maskin vibrerar för preventivt underhåll – slitage manifesterar sig i en ändrad rytmik.

Svenska Terranet utvecklar mjukvara för en sensor för förarassistans och självkörning. Den 3D-kartlägger omgivningen med hjälp av tre händelsekameror och en laser som sveper över miljön.

FLER ÄN TERRANET tror på händelsekameror i fordon. Den höga dynamiken betyder att kameran fungerar bättre i motljus, tunnlar och andra kontrastrika scener. Trafikljus och bromsljus framstår tydligt medan deras 100 Hz-blinkande är en utmaning för konventionella kameror. Med mera.

l Amerikanska Xperi har ett förarövervakningssystem som noterar vart blicken går, hur huvudet är orienterat och hur ögonlocken faller. Systemet identifierar dessutom föraren.

Schweiziska Insightness – sedan i fjol dotterbolag till Sony – har utvecklat drönarstyrning som kan undvika kollisioner med andra rörliga objekt. Det går att beställa en utvecklingssats.

Taiwanesiska Omnivision saluför en sensor och tipsar bland annat om att den skulle kunna användas för geststyrning.

Schweiziska Inivation har en lösning för blickföljning i AR-glasögon och VR-hjälmar. Latensen är 3 ms. En tillämpning är att systemet renderar grafik i hög upplösning endast i den punkt där användaren tittar. Inivation erbjuder även snabb 3D-scanning för exempelvis kvalitetskontroll och robotstyrning.