Som kodare är Chat GPT överlägsen sina mänskliga kollegor i ett viktigt avseende: den är trevlig och auktoritativ och upplevs därmed som mer trovärdig. Tyvärr även när den har fel. Vilket är mycket ofta. Försökspersoner fick jämföra Chat GPT med svar från kodforumet Stackoverflow.
I en studie plockade forskare ut 517 frågor om kod som besvarats på forumet Stackoverflow och ställde dem till Chat GPT. Därefter betygsattes svarens kvalitet och trovärdighet av försökspersoner.
Stackoverflows svar var de som försökspersonerna oftast föredrog. Men Chat GPT bedömdes ändå som mer trovärdig på 35 procent av frågora.
Forskarna påpekar att det är bekymmersamt med tanke på att Chat GPT är notoriskt opålitlig. I detta fall var 77 procent felaktiga av de svar där Chat GPT fick det högre betyget.
Enligt forskarna kunde försökspersonerna endast identifiera fel när de var uppenbara. Ibland inte ens då, vilket forskarna tror beror på Chat GPT:s trevliga och auktoritära tonläge. Chat GPT ger artiga, detaljerade svar som förklarar steg för steg. Den är även självsäker och optimistisk inför sina egna svar.
Det som forskarna tycker att programmerare ska ta med sig av studien är att vara skeptiska mot Chat GPT även när den låter trovärdig.
Forskarna hoppas även att Chat GPT kommer att blir bättre på att värdera säkerheten i sina egna svar – den generella varningen när du loggar in i Chat GPT är inte tillräcklig.