Stoppet för konserter under pandemin saboterade för musikindustrin, inklusive stockholmsbolaget Elk och dess ljudmjukvara. Lyckligtvis hade bolaget en fullt coronakompatibel produktidé i skrivbordslådan: en datorburk med ett realtidsoperativsystem som möjliggör ett Zoom för nätmusikanter.

Musiker i Stockholm och Milano kan snart spela tillsammans över Internet i realtid. Ett svenskt operativsystem kapar ner på de fördröjningar som får musikerna att tappa takten i de vanliga konferenssystemen.

Aloha heter den kommande produkten, som är en webbtjänst med stöd i egen hårdvara. Elk styrde om alla sina resurser till att utveckla Aloha och den ska förhoppningsvis kunna lanseras i år.

Aloha är en social plattform som låter musiker spela tillsammans över Internet. Kärnan är ett eget realtidsoperativsystem som kapar de flesta av de millisekunder av fördröjningar som introduceras av vanliga skrivbordsoperativsystem.

Stefano Zambon

– Videos som du ser av musiker som tycks spela tillsammans över nätet är typiskt inte på riktigt, berättar Stefano Zambon, som är teknikchef på Elk.

– Först spelas trummorna in, sedan bas, gitarr och sång – som i en studio.

ELKS OPERATIVSYSTEM Elk Audio OS körs på en Raspberry Pi i nuvarande prototyp. När Alohaappen är klar ska den se ut som vilken Skype eller Discord som helst, med kontaktlista och chatt. Men dessutom alltså med en extra knapp för att starta en jamsession.

Ytterligare ett knapptryck startar en global direktsändning via Amazons moln.

Latensen, tidsfördröjningen, är den stora utmaningen. Stefano Zambon och Elektroniktidningen testar att försöka klappa händerna tillsammans över Zoom. Fördröjningarna knuffar oss hela tiden ur takt.

Beroende på musikstil, tempo, och annat krävs en total latens på maximalt 20–30 millisekunder för att musikerna ska kunna hålla sig i takt.

FÖRDRÖJNINGEN I NÄTVERKET är inget som Elk kan göra något åt. Det sätter till slut en gräns för vilka avstånd som är möjliga.

Artikeln är tidigare publicerad i magasinet Elektroniktidningen.
Prenumerera kostnadsfritt!

Det som Elk kan trimma är den lokala elektroniken och mjukvaran. Elk trollar bort 10–20 millisekunder av latensen som finns i konkurrerande lösningar på skrivbordsoperativsystem.

Varje vunnen millisekund utökar den användbara räckvidden.

Var de exakta avståndsgränserna går beror i praktiken av många faktorer i nätverket – Stefano Zambon och forskarkollegor håller på att skriva en artikel i ämnet.

Elk har tillsvidare åtminstone demonstrerat att stockholmare och skåningar utan problem kan spela snabb jazz tillsammans över Internet. Fördröjningen är då under tio millisekunder. Det motsvarar att stå 2–3 meter från varandra i samma rum.

I EN ANNAN DEMO spelar en trumslagare i Stockholm tillsammans med en gitarrist i Madrid över Internet.

Fram till i fjol var det faktiskt Elk Audio OS som var Elks huvudprodukt. Det licensieras till tillverkare av instrument, mixrar, ljudeffekter och annan ljudelektronik. Men åtgärderna mot Covid-19 gjorde att flera projekt sköts på framtiden.

– Allt ändrades av Covid 19. Levande musik har stoppats runt hela världen. Musiker slutade köpa utrustning, säger Stefano Zambon.

Kunder sköt fram sina produktreleaser.

– Nu har det äntligen börjat återhämta sig för oss igen. Men pandemin fick oss att skynda på Aloha så mycket vi kunde. Egentligen var den planerad för 2022.

Så istället för att licensiera Elk Audio OS som B2B-produkt fokuserar nu Elk på att utveckla en konsumentprodukt, Aloha, på sin egen plattform.

UTÖVER ALOHA över Internet finns planer på ett Aloha över 5G, efter samarbete med Ericsson. Elk var år 2018 först i världen att demonstrera realtidsljud över 5G.

Andra delar av färdplanen talar om instrument med Alohahårdvaran integrerad. Den stora drömmen på sikt är att Aloha etableras som de facto-standard för realtidsljud.

DET FINNS OCKSÅ tänkbara tilllämpningar utanför musik inom allt som vill ha bättre realtidsljud. Ett exempel är vanliga audiokonferenser. Med kortare latenser och cd-ljud blir interaktionen rikare och tar ett steg närmare ett vanligt möte IRL.

Ytterligare en idé är ljudprocessning i realtid som molntjänst.

Så bekämpas latensen

Att musicera över Internet via vanliga skrivbordsoperativsystem är dödsdömt. De är inte konstruerade för realtid. Elk använder ett egenutvecklat operativsystem, Elk Audio OS, optimerat för audio och realtid.

Elk Audio OS kör Linux sida vid sida med en realtidskärna på den öppna plattformen Xenomai. Det stöder ett drygt tiotal inbyggnadskort på x86 och Arm, bland dem Raspberry Pi vilket prototypen av Alohaboxen använder just nu.

Musikern ansluter boxen till sitt instrument och till Ethernet. Som riktad mot konsument är den designad att vara lättanvänd och robust. Boxen kan till och med stängas av mitt under en programuppdatering och ändå vara direkt färdig att använda när den startas igen.

I realtidskärnan i Elk Audio OS finns för det första en egenutvecklad drivrutin för audio.

För det andra kommer realtidskärnan undan det overhead som finns i Linux i form av bland annat schemaläggning och interrupt.

Lösningen sänker inte bara latensen för realtid utan höjer också prestandan – det blir fler cpu-cykler över till att integrera exempelvis virtuella instrument eller ljudeffekter.

Det finns i ljudbranschen ett antal standardiserade protokoll och gränssnitt kring ljudprocessning, och den som har sådan mjukvara kan integrera den med Elk Audio OS med bara en kompilering. Protokollen har namn som Midi, VST, Ableton Link, Juce, Hise, CS, Faust, Max/MSP, Soundfont och LV2. Licenstagare kan på så vis skräddarsy sina egna produkter.

Elk Audio OS finns som öppen källkod för Raspberry Pi men är också möjlig att licensiera för kommersiella kunder som vill behålla sin utveckling för sig själv.

Designfilosofin var att undvika att uppfinna hjulet på nytt.

– Hellre tar vi existerande standarder och jobbar med dem.

Där det behövs gör bolaget egen utveckling för att korta ner latenser eller öka ljudkvaliteten, som är på cd-nivå.

Exempelvis är beteendet vid paketförluster viktigt. Vanlig röstkomprimering kan skapa märkliga ringande artefakter i ljudet. Elk kan offra några cpu-cykler på en mer musikalisk algoritm.

Blev Matt Bellamys gitarrhjälte

Elks första produkt var en smart gitarr. Men branschen var mer intresserad av gitarrens innehåll. Du kan ha hört talas om gitarren – Sensus. Dess demos väckte stor uppmärksamhet.

Sensus är fylld av sensorer och gränssnitt. Musikern vrider på gitarren, stryker med fingrarna längs kroppen och viftar med handen för att skapa ljud. Dessutom har Sensus inbyggd sequencer, inspelningsfunktion, med mera.

Den har hittills inte blivit mer än en prototyp.

– Vi hade planer för att industrialisera och producera den. Men efter vi gjort vårt första besök på musikmässan Namm och pratat med musikinstrumenttillverkarna insåg vi att det fanns ett mycket större intresse för vår teknikplattform i sig, snarare än produkten.

– Det var då vi bestämde oss för att fokusera på Elk Audio OS.

Något annat spännande hände på samma Namm: Elk löste ett gitarrproblem åt ingen mindre än Matt Bellamy, musiksnillet bakom brittiska bandet Muse.

Han ville styra en mjuk synthesizer på en laptop från sin elgitarr via Bluetooth. Men varken laptop eller Bluetooth är bra scenteknik, bland annat på grund av störningar från publikens mobiler.

Bellamys tekniker berättade om problemen i Elks bås på Namm och Elk åtog sig till teknikerns stora förvåning att stoppa in mjukvarusynten i gitarren.

Elks logotyp på täckplattan över elektroniken i Matt Bellamys gitarr.

Dock inte genom att silvertejpa en laptop. Tillsammans med en mikrofontillverkare utvecklades en mjukvarusynt på ett litet datorkort som integrerades på undersidan av gitarrkroppen. Ljudet strömmades därefter via ett robustare trådlöst protokoll direkt till mixerbordet.

Lösningen togs fram på 18 dagar och fungerade omedelbart, vittnar teknikern. Den användes på den förestående världsturnén.