Il gioco ‘Umano o no’ è finito Ecco cosa ci dice l’ultimo Test di Turing

The game 'Human or Not' is over. Here's what the latest Turing Test tells us.

AI21 Labs ha condotto un esperimento sociale questa primavera in cui più di 2 milioni di partecipanti hanno intrattenuto più di 15 milioni di conversazioni attraverso il suo sito web. Alla fine di ogni chat, un partecipante doveva indovinare se il suo interlocutore fosse un essere umano o un bot AI. Quasi un terzo ha indovinato male.

Con l’aumentare della popolarità di ChatGPT e altri chatbot AI, sono aumentati anche i dubbi sul fatto che tali strumenti AI possano essere intelligenti quanto gli esseri umani, che i contenuti generati da questi strumenti possano passare per creazioni umane e che l’AI minacci i posti di lavoro delle persone.

Inoltre: 4 cose che Claude AI può fare che ChatGPT non può

AI21 Labs ha tratto ispirazione dall’esperimento “Umano o No?” dall’osservazione di Alan Turing sulla capacità di una macchina di mostrare un livello di intelligenza indistinguibile da quello di un essere umano. Questo tipo di esperimento sarebbe diventato noto come Test di Turing, basato sull’osservazione del matematico nel 1950: “Credo che tra 50 anni sarà possibile far sì che i computer giochino così bene al gioco dell’imitazione da far sì che un interrogatore medio abbia solo il 70% di probabilità di fare la giusta identificazione dopo 5 minuti di interrogatorio.”

I risultati dell’esperimento Umano o No supportano la previsione di Turing: complessivamente, i partecipanti all’esperimento hanno indovinato correttamente il 68% delle volte. Quando accoppiati con un chatbot AI, i partecipanti hanno indovinato correttamente solo il 60% delle volte. Quando il partner di conversazione era un altro essere umano, hanno indovinato correttamente il 73% delle volte.

Anche se questo non era un Test di Turing perfetto, l’esperimento Umano o No di AI21 Labs ha mostrato come i modelli AI possano imitare la conversazione umana in modo convincente al punto da ingannare le persone. Ciò mette in discussione le assunzioni che abbiamo sulle limitazioni dell’AI e potrebbe avere implicazioni per l’etica dell’AI.

Inoltre: Il nuovo Test di Turing: Sei umano?

Nell’uso che ne ho fatto quando era disponibile, sono stato abbinato a esseri umani ogni volta e ho indovinato correttamente ogni volta. La risposta mi sembrava chiara perché i miei partner di conversazione utilizzavano neologismi (ad esempio, idk), rifiutavano di rispondere alle domande o non conoscevano le risposte.

I giocatori hanno cercato di confondere gli altri giocatori imitando i chatbot AI, utilizzando termini come “come modello di linguaggio AI”, ma ciò è stato spesso fatto in modo imperfetto e i partecipanti umani all’altra estremità sono stati in grado di vedere attraverso i tentativi.