Algoritmen Aisaq minskar enligt Kioxia dramatiskt behovet av kostsamt RAM-minne när du använder AI-algoritmen Rag. Och källkoden är öppen.
Aisaq lagrar Rag-algoritmens vektordatabas i SSD-minne, där Rag normalt använder DRAM.
Kioxas egen huvudprodukt är SSD-minne, så det är naturligt för företaget att lansera en produkt som främjar användandet av SSD.
Enligt Kioxia ska Aisaq kunna flytta Rag-algoritmens vektorer (också kända som ”embeddings”) till långsammare SSD med minimal förlust i fördröjning och precision. Precisionen ska dessutom kunna justeras i efterhand.
Rag (retrieval-augmented generation) är en teknik som chattbottar använder för att snabbt lära sig dokument som de inte sett under sin träning. Om du vill att det ska gå att chatta med din webbplats eller din produktkatalog – då lägger du den i en Rag-databas.
Exakt hur Aisaq fungerar ligger utanför Elektroniktidningens kompetensområde, men den ska gå hand i hand med tekniken ANNS (approximate nearest neighbour search), som de flesta Rag-implementationer redan använder för att snabbt skumma dokument. Om någon blir klokare av den beskrivningen?
Det är ANNS som Aisaq flyttar från DRAM till SSD.
I siffror krymper DRAM-användningen från gigabyte till megabyte. Rag blir dessutom mer snabbstartad eftersom tiden det tar att ladda DRAM med data försvinner. Aisaq sägs också göra Rag mer skalbar.
Här (länk) hittar du en artikel på databasen Arxiv, där sju forskare på Kioxia förklarar Aisaq.
Aisaq (AiSAQ) är en akronym för “All-in-Storage ANNS with Product Quantization”.