Ingenjörsföretaget 10xEngineers har porterat sin ANN-kompilator Baltoro till Andes vassaste Risc V-kärna. Så nu kan du få effektiva implementeringar av både datorseende och LLM:er (stora språkmodeller).
Baltoro är byggd på det öppna kompilatorramverket LLVM och utnyttjar Googles AI-verktyg MLIR.
10xEngineers kallar Baltoro för en ”AI-grafkompilator”. Det betyder att den inte kompilerar neuronnätet som det är givet, utan först försöker optimera strukturen.
Baltoro ska specifikt vara optimerad för LLM:er. Enligt Andes kan Baltoro bland annat kompilera LLM:er från familjerna LLaMA, Qwen och DeepSeek.
AX46MPV är Risc V-kärna för edge- och datacenter med upp till 16 cpu-kärnor, en dual-issue superskalär pipeline på åtta steg och stöd för Risc V:s vektorinstruktioner.
Taiwanesiska 10xEngineers är specialiserat på Risc V och maskininlärning.