JavaScript is currently disabled.Please enable it for a better experience of Jumi. Kioxia ger bort algoritm för AI på flashminne – Elektroniktidningen
måndag 17 februari 2025 VECKA 08
 

Algoritmen Aisaq minskar enligt Kioxia dramatiskt behovet av kostsamt RAM-minne när du använder AI-algoritmen Rag. Och källkoden är öppen.

Aisaq lagrar Rag-algoritmens vektordatabas i SSD-minne, där Rag normalt använder DRAM. Enligt Kioxia ska Aisaq kunna flytta sina vektorer (embeddings) till långsammare SSD med minimal förlust i fördröjning och precision – och precisionen ska dessutom kunna justeras i efterhand.

Kioxas huvudprodukt är SSD-minne.

Rag (retrieval-augmented generation) är en teknik som chattbottar använder för att snabbt lära sig dokument som de inte sett under sin träning. Om du vill att det ska gå att chatta med din webbplats eller produktkatalog, lägger du den i en Rag-databas.

Exakt hur Aisaq fungerar ligger utanför Elektroniktidningens kompetensområde, men den går hand i hand med tekniken ANNS (approximate nearest neighbour search), som de flesta Rag-implementationer redan använder för att snabbt skumma dokument. Det är ANNS som Aisaq flyttar från DRAM till SSD.

I siffror krymper DRAM-användningen från gigabyte till megabyte. Rag blir dessutom mer snabbstartad eftersom tiden det tar att ladda DRAM med data försvinner. Aisaq ska också göra Rag mer skalbar.

Koden till Aisaq är öppen, och du kan ladda ner den här (länk). Och här (länk) hittar du en artikel på databasen Arxiv, där sju forskare på Kioxia förklarar Aisaq.

Aisaq (AiSAQ) är en akronym för “All-in-Storage ANNS with Product Quantization”.

Prenumerera på Elektroniktidningens nyhetsbrev eller på vårt magasin.


MER LÄSNING:

 
Rainer Raitasuo

Rainer
Raitasuo

+46(0)734-171099 rainer@etn.se
(sälj och marknads­föring)
Per Henricsson

Per
Henricsson
+46(0)734-171303 per@etn.se
(redaktion)

Jan Tångring

Jan
Tångring
+46(0)734-171309 jan@etn.se
(redaktion)

KOMMENTARER
Kommentarer via Disqus


10 banners varav 10 har onclick.