Tamas Daranyi, som svarar för marknadsföring för AI/ML på Silicon Labs, pekade på ett grundläggande problem. AI bygger på statistisk inferens och kan därför inte förväntas vara hundra procent korrekt. Det spelar mindre roll när en modell exempelvis känner igen ett nyckelord eller klassificerar en sensorsignal, men blir avgörande när resultatet styr en säkerhetskritisk funktion.

Daranyi tog bilens ABS-system som exempel. En sådan funktion måste reagera förutsägbart och lämpar sig därför inte för att styras direkt av dagens statistiska AI-modeller.

Rudy Sengupta, som är teknologichef och leder Emersons AI-verksamhet, gjorde samma åtskillnad mellan AI som informationskälla och AI som beslutsfattare. AI kan analysera information från flera källor och ge underlag för beslut, men i ett säkerhetskritiskt system bör det slutliga beslutet fattas av en människa eller av strikt definierad deterministisk logik.

Samtidigt uppstår ett nytt problem när allt mer avancerade AI-modeller flyttas ut till kanten. Hur ska de testas? Sengupta pekade särskilt på små språkmodeller. Till skillnad från traditionell styrlogik behöver en sådan modell inte ge exakt samma svar varje gång den får samma fråga. Det gör valideringen betydligt svårare.

Panelen, som modererades av Kate Underhill från ESA, diskuterade också ansvar. Den som ansvarar för ett system måste kunna förstå och i efterhand analysera varför ett beslut fattades. Reglering, validering och juridiskt ansvar kan därför påverka hur mycket beslutskraft som flyttas till AI.

Den tekniska utvecklingen gör det möjligt att köra allt mer AI lokalt. Men för säkerhetskritiska system går gränsen inte bara vid hur mycket beräkningskraft som ryms vid nätverkets kant. Den går också vid vilka beslut man vågar överlåta åt AI.