Ladda ner artikeln här (länk, pdf). Fler tekniska rapporter finns på etn.se/expert

De otaliga enheter och saker som är anslutna till internet skapar ett digitalt universum som genererar data om precis allt som händer: på en fabrik, i en restaurangkedja, i en smart stad eller inom ett forskningsprojekt. Genom att extrahera värde från alla dessa data kan vi potentiellt förbättra affärsresultat, påskynda medicinska framsteg, förbättra säkerheten och upprätthålla lag och ordning samt förbättra vardagslivet och upplevelserna på sociala medier för miljontals digitala konsumenter över hela världen – för att bara nämna några av fördelarna.
Traditionella databaser och frågeverktyg kan inte hantera dessa enorma datamängder, mångfalden av datatyper och de olika komplexa sätt på vilka man måste kombinera och manipulera data för att få fram den information man söker. Nya typer av datakällor som Hadoop, logghanteringsverktyg som Splunk och visualiseringsverktyg som Tableau är mer lämpade för analytiska arbetsuppgifter är följaktligen på frammarsch.

Det sätt på vilket analysverktyg för stora datamängder hämtar och analyserar data skiljer sig från de historiska programmens transaktionsprocesser. Dessa arbetar med små datamängder på ett sekventiellt, indexbaserat sätt medan program som SAP Predictive Analytics hämtar stora datamängder och kan tillämpa en mängd olika analystekniker. Det hastigt ökande antalet enheter i användarnas händer och antalet saker som är anslutna till internet genererar dessutom data i allt snabbare takt.

Kombinationen av den exploderande datamängden och komplexiteten i analyserna gör det omöjligt för etablerade datacenterbaserade bearbetningsplattformar att tillhandahålla tillräcklig prestanda. Kunderna kräver att få insikter snabbt, ibland även i realtid, för verksamhetssyften eller ekonomiska syften. De traditionella arkitekturerna klarar inte av att hålla jämna steg. Konventionella metoder för att öka prestanda kommer till korta då utvecklingen av Moores lag och den allt lägre effektförbrukning som finare geometrier ger (Dennard-skalning), har slagit av på takten under de senaste fem åren. Det påverkar processorernas prestandautveckling negativt. Dessutom blir det allt svårare att bara lägga till extra servrar eller rack ur ett kostnads-, utrymmes- och kraftförsörjningsperspektiv.

Trenden går istället mot plattformar som använder hårdvaruacceleration inom heterogena arkitekturer bestående av flexibla kombinationer av konventionella processorer, grafikprocessorer (GPU:er) och FPGA:er. En ny generation av acceleratorer växer fram som drar nytta av de olika processortypernas enskilda styrkor för att leverera betydande förbättringar vad gäller prestanda, effektförbrukning och storlek.

Chris Kachris, som är vd på  InAccel (ett medlemsföretag i Xilinx Alliance Program), förklarar att de huvudsakliga plattformarna för effektiv dataanalys kommer att bygga på heterogen databehandling baserad på hårdvaruacceleratorer som FPGA:er.

– Vanliga processorer klarar inte av analysprogrammens allt mer komplexa databehandling, säger han och fortsätter:

– En FPGA kan tillhandahålla den flexibilitet som processorerna ger med hjälp av färdiga moduler samt den prestanda som specialiserade kretsar ger.

InAccel skapar högpresterande acceleratorer för användning som IP i maskininlärning samt finans- eller andra program, inklusive acceleratorer för Apache Spark-baserade program. Dessa acceleratorer kan distribueras till FPGA-tjänster som Amazon AWS EC2 F1-instanser, Huawei FPGA-accelererad molnserver (FACS),  Alibaba Elastic Compute Services F2-instanser eller till PCIE FPGA-kort från Xilinx, Advantech, Bittware och andra. Acceleratorerna förbättrar de verksamhetskritiska programmens prestanda och minskar avsevärt kundernas kostnader.

– FPGA:er kan ge mycket högre prestanda än andra plattformar och är också tillräckligt anpassningsbara för att kunna tillgodose framtida behov och algoritmer. Vi kan distribuera FPGA:er i ett biblioteksbaserat system utan att behöva ändra de ursprungliga programmen, tillägger Kachris.

Brad Kashani från företaget Bigstream berättar mer om de typer av uppgifter som passar grafikprocessorer och FPGA:er.

– Åtgärder som multiplikationer av täta matriser eller där man behöver mycket hög minneskapacitet kan vara lämpliga för grafikprocessorer, säger han.

– Åtgärder med glesa matriser, SQL-kommandon som att filtrera, ansluta eller sortera, eller program som manipulerar dataformat stöds däremot bättre av FPGA:er, bland andra. FPGA:er ger den flexibilitet som behövs för att klara av ett stort antal analyser effektivt.

– Dessutom har vi framgångsrikt ökat accelerationen genom att använda FPGA:er i inlineläge och bearbetat data direkt från nätverkskortet (NIC) utan att blanda in centralprocessorn. Detta läge ger den högsta prestanda vi har sett, samtidigt som latensskillnaderna i systemet blir mindre säger Brad Kashani.

När stora datakrav kräver en lösning som körs på ett maskinkluster kan man tack vare en heterogen arkitektur låta huvudprocessorn slippa bearbetningsintensiva och repetitiva uppgifter. En konfigurerbar accelerator, som en FPGA, kan optimeras därefter. VD och medgrundare av Vitesse Data, CK Tan, förklarar hur hans företag använder denna metod för att ytterligare accelerera prestanda hos deras Deepgreen DB, en variant av Greenplum som är betydligt snabbare än program med öppen källkod.

– Många analysprogram kräver att man kör SQL på MPP-databaser, och kunderna vill ha bästa möjliga prestanda. Det finns en gräns för antalet processorer i ett kluster, och det är ganska tydligt att processorer inte på egen hand kan tillgodose behovet av allt snabbare aggregat för datorstödd affärsanalys och OLAP-frågor för detta särskilda ändamål.

Genom att använda FPGA:er som acceleratorer frigör man processorerna så att de kan arbeta med andra, parallella uppgifter, vilket förbättrar systemets övergripande svarstid.

– Detta har gjort det möjligt för oss att fyrdubbla de bearbetningsresurser som finns tillgängliga på klustret utan att expandera dess fotavtryck. Det sammanfaller väl med behovet av att få ut fler uppgifter och insikter från företagsdata.

Han fortsätter med att förklara hur transparent accelerationen är för slutanvändaren.

– Kunder som använder Greenplum kan gå över till Deepgreen genom att helt enkelt byta ut databasprogramvaran, och omedelbart se hur deras program kör snabbare på samma maskinvara. Kunden kan dessutom få systemet att köra ännu snabbare genom att lägga till FPGA-kretsar i maskinerna. Deepgreen DB använder de extra resurserna för att skjuta prestandanålen längre åt höger.

Ett område där företag förväntar sig få ut avsevärt mer värde då tekniken inom analys av stora datamängder fortsätter att utvecklas är inom prediktiv analys – för att förutse trender och händelser i olika sfärer från maskinunderhåll till ekonomiska tjänster.

– Storskaliga analyser, som att bygga en prediktiv modell av tillgängliga data, körs ofta som en process över natten, kommenterar Xeleras vd Felix Winter.

– Det blir allt vanligare att kunderna antingen vill ha mer noggranna modeller eller att de vill minska körtiden till timmar, eller till och med minuter, för att få datamodeller omedelbart.

För att kunna möta dessa krav använder Xelera FPGA:er för att få en acceleration upp till två gånger jämfört med flerkärniga processorer.

– Grafikprocessorn är en stark kandidat som hjälpmedel för acceleration i vissa program som av naturen är väl lämpade för GPU-arkitektur. FPGA:er är å andra sidan en extremt mångsidig accelerator som kan påskynda ett mycket bredare utbud av program.

Förutom snabbare beräkningstider för analyser ger hårdvaruacceleration även energibesparingar. Ryft har uppnått accelerationsfaktorer på mellan 10 och 100 med hjälp av FPGA:er för uppgifter som ungefärlig textsökning, signalbehandling och analys av bild eller video för maskininlärning. Samtidigt är energiförbrukningen också mycket lägre.

– Vi har sett energiförbrukningen minska så mycket som en tiopotens i många verkliga scenarier, förklarar Pat McGarry, vd för Engineering.

– De enorma prestandavinsterna med mindre energibehov överraskar alltid kunder som är intresserade av analys i utkanten av nätverket (edge), och för vilka energin ofta står högt i kurs och rack efter rack av hårdvara helt enkelt inte är en möjlighet.

Han fortsätter med att diskutera rollen för hårdvaruacceleration i driftsättningsmodeller på plats och som edge/molnhybrid.

– Även om de flesta av våra kunder kör lokala program med lokala FPGA-acceleratorer som är kopplade via PCIe till vanliga, rackmonterade x86-servrar, erbjuder vi även möjligheten att använda FPGA:er som körs på den FPGA-accelererade EC2 F1-instansen hos AWS. Det möjliggör molnbaserad arbetsbelastningsacceleration eller till och med hybriddistributionsmodeller som kombinerar databehandling i lokala program med molnbaserade tjänster.

Han förväntar sig att hybriddistribution kommer att bli allt viktigare med tiden.

– Det är numera uppenbart att det inte går att leverera alla edgedata till molnet i tid, och det är definitivt inte kostnadseffektivt. Vi kommer att se framåtblickande analysplattformar använda en viss mängd betydelsefull dataanalysbearbetning i kanten av nätverket (edge), vilket kommer att minska data som skickas till molnet för potentiellt mer omfattande bearbetning.

Han håller med om att FPGA:er fyller en funktion på båda sidorna av hybridekvationen och tillägger: – Uppenbarligen kommer de accelerationsfunktioner som FPGA:er erbjuder i kanten av nätverket (edge) i en mängd olika maskininlärningsfunktioner att utökas från dagens nischanvändning och bli ännu mer intressanta för dem som sysslar med dataanalys.

Maskininlärning kommer att spela en allt viktigare roll inom effektiv dataanalys eftersom data genereras allt snabbare, och algoritmisk förmåga i realtid, lagring, nätverksbandbredd, bearbetningsprestanda och den mänskliga analysförmågan inte kan hålla jämna steg.

Användare inom företags- och forskningsvärlden blir allt mer medvetna om värdet i de stora datamängder som nu samlas in från de fysiska och virtuella världarna. Efterfrågan på dataanalys står vanligtvis i proportion till den mängd data som genereras. Då mängden fortsätter att växa exponentiellt kommer behovet av dataanalys att öka med i stort sett samma hastighet.

Moderna program- och hårdvaruarkitekturer kan inte användas kostnadseffektivt för att uppfylla behoven inom datagenerering, lagring och analys. Följaktligen finns det ett trängande behov av nya och innovativa metoder som är baserade på heterogena beräkningsplattformar som kopplar samman centralt placerade processor- och FPGA-resurser. FPGA:er, med deras konfigurationsmöjligheter, flexibilitet, omfattning för parallellitet och energieffektivitet, säkerställer effektiv acceleration av databearbetning.