ChatGPT risponde in modo errato a più della metà delle domande di ingegneria del software

ChatGPT risponde erroneamente a oltre il 50% delle domande di ingegneria del software.

La capacità di ChatGPT di fornire risposte conversazionali a qualsiasi domanda in qualsiasi momento rende il chatbot una risorsa utile per le tue esigenze informative. Nonostante la comodità, uno studio recente ha scoperto che potresti non voler utilizzare ChatGPT per prompt di ingegneria del software.

Prima dell’avvento dei chatbot basati sull’IA, Stack Overflow era la risorsa di riferimento per i programmatori che avevano bisogno di consigli per i loro progetti, con un modello di domande e risposte simile a quello di ChatGPT.

Inoltre: Come bloccare il nuovo web crawler di addestramento IA di OpenAI per evitare che acquisisca i tuoi dati

Tuttavia, con Stack Overflow devi aspettare che qualcuno risponda alla tua domanda, mentre con ChatGPT no.

Di conseguenza, molti ingegneri del software e programmatori si sono rivolti a ChatGPT con le loro domande. Poiché non c’erano dati che mostrassero quanto efficacemente ChatGPT rispondesse a quel tipo di prompt, uno studio dell’Università Purdue ha indagato sul dilemma.

Per scoprire quanto efficiente sia ChatGPT nel rispondere a prompt di ingegneria del software, i ricercatori hanno fornito a ChatGPT 517 domande di Stack Overflow ed hanno esaminato l’accuratezza e la qualità delle risposte.

Inoltre: Come usare ChatGPT per scrivere codice

I risultati hanno mostrato che su 512 domande, il 52% delle risposte di ChatGPT erano errate e solo il 48% erano corrette. Inoltre, il 77% delle risposte era prolisso.

Nonostante l’alta inesattezza delle risposte, i risultati hanno mostrato che le risposte erano complete il 65% delle volte e affrontavano tutti gli aspetti della domanda.

Per analizzare ulteriormente la qualità delle risposte di ChatGPT, i ricercatori hanno chiesto a 12 partecipanti con diversi livelli di competenza nella programmazione di dare il loro contributo sulle risposte.

Inoltre: Il team di sicurezza di Microsoft monitora l’IA dal 2018. Ecco cinque grandi intuizioni

Sebbene i partecipanti preferissero le risposte di Stack Overflow rispetto a quelle di ChatGPT in diverse categorie, come mostrato dal grafico, i partecipanti non sono riusciti a identificare correttamente le risposte generate da ChatGPT come errate nel 39,34% dei casi.

Secondo lo studio, le risposte ben articolate prodotte da ChatGPT hanno portato gli utenti a trascurare le informazioni errate nelle risposte.

“Gli utenti trascurano le informazioni errate nelle risposte di ChatGPT (nel 39,34% dei casi) a causa della completezza, della chiarezza e della natura umanoide delle risposte di ChatGPT”, hanno scritto gli autori.

Inoltre: Come ChatGPT può riscrivere e migliorare il tuo codice esistente

La generazione di risposte che sembrano plausibili ma sono errate è un problema significativo per tutti i chatbot perché favorisce la diffusione di informazioni errate. Oltre a questo rischio, i punteggi di bassa accuratezza dovrebbero essere sufficienti a farti ripensare all’utilizzo di ChatGPT per questo tipo di prompt.