About / Advertise
Smarta kameror, seende robotar och smarta hemmet är några tillämpningsområden för Qualcomms nya kretsfamilj Vip (Vision Intelligence Platform) som har en rik uppsättning funktioner för bild, video, ljud, allt förstärkt av artificiell intelligens.
Det känns som om Qualcomm i sin nya krets lyckas bocka för nästan allt inom bild, video, ljud och AI.
Företaget hoppas den ska användas i exempelvis sportkameror, säkerhetskameror, 360-graderskameror, AR-kameror, robotkameror och smarta skärmar.
Det finns provexemplar av de två första kretsarna, QCS605 och QCS603. De tillverkas i 10 nm i olika varianter, och är skräddarsydda för wifi-kameror. Det finns en referenskonstruktion för 360-graders-VR-kamera från Qualcomm och Altek byggd på 605:an. En referenskonstruktion för en säkerhetskamera på 603:an ska finnas klar under andra halvåret.
Produkter som använder 605:an väntas finnas på butikshyllorna under andra halvåret från bland annat Kedacom och Ricoh.
Båda kan hantera 4K-video, den förra i 60 fps, och den senare i 30 fps. 605:an klarar dessutom 5,7K i 30 fps. Båda stöder multipla videoströmmar och kan användas med en intern Quad HD-skärm eller en extern 4K Ultra HD-skärm.
 |
| En referenskonstruktion för en 360°-kamwra på kretsen QCS605. |
Kretsen har hårdvara för bildanalys och bildbehandling. Du kan använda dem för funktioner som att identifiera objekt i bild, följa objekt, känna igen ansikten, stabilisera video och kompensera för färgblödning.
Med lämplig mjukvara bygger du ännu mer komplexa funktioner, som att sammanfoga bilder till en 360-gradersvy, att automatiskt klippa ihop en film med höjdpunkter ur inspelat material och att planera ett vägval i närvaro av fysiska hinder.
Ett antal partners har implementerat AI-bibliotek på plattformen för bland annat ansiktsigenkänning, bildigenkänning, målföljning och bildbehandling.
På 605:an finns beräkningskraft i form av en åttkärnig Kryo 360-cpu, en Adreno 615-gpu och en Hexagon 685-vektorprocessor. Här finns också bildkärnan Spectra 270 som är en dubbelkärna som arbetar med 14 bitar och och kan ta emot data från en enkelkamera på 32 miljoner bildpunkter eller en dubbelkamera på 16 + 16 miljoner punkter.
För kommunikation stöds Bluetooth 5.2 och 2x2 802.11ac wifi med MU-mimo och simultan sändning över dubbla band.
Vad gäller den artificiella intelligensen på kretsen anger Qualcomm att den har en prestanda för djupa neuronnät på 2,1 Tops på en watt.
AI:n finns i en plattform kallad ”AI Engine” som består av både mjukvara, hårdvara och utvecklingsverktyg. Det är ungefär samma beskrivning som företaget gett sedan 2013 om den AI-plattform Zeroth som bland annat används i företagets Snapdragonkretsar.
Mjukvaruverktygen för AI Engine heter NPE (Neural Processing Engine) och består av verktyg för analys, optimering och avlusning i både Tensorflow och Caffe, som är standardbibliotek för ändamålet.
Det öppna formatet Open Neural Network Exchange används för att specificera neuronnät. Qualcomm Hexagon Neural Network library och Android Neural Networks API används för att arbeta med instanser av dem.
Vad gäller ljud stöds allt från ekocancellering till taligenkänning, Kretsarna har slutligen även hårdvarubaserad cybersäkerhet och kryptering.
