ChatGPT offre risposte sbagliate al 52% delle domande di programmazione, secondo uno studio
Uno dei principali vantaggi nell’uso di chatbot generativi di intelligenza artificiale come Copilot, Gemini e ChatGPT è la possibilità di risparmiare tempo rispondendo a domande su coding e programmazione in modo più rapido rispetto alle risposte umane. Tuttavia, un recente rapporto rivela che ChatGPT offre molte risposte errate alle domande di programmazione.
In un rapporto presentato a maggio durante la Computer-Human Interaction Conference (via Gizmodo), un team di ricerca della Purdue University ha esaminato 517 domande di Stack Overflow a cui ChatGPT ha risposto.
Il team della Purdue University ha riportato che ChatGPT ha fornito risposte errate a queste domande di programmazione nel 52% dei casi.
Sebbene sia forse prevedibile che un chatbot di intelligenza artificiale possa fornire risposte errate, il team della Purdue University è andato oltre, affermando che i programmatori umani hanno comunque preferito le risposte di ChatGPT nel 35% dei casi “a causa della loro completezza e dello stile linguistico ben articolato”. Ancora peggio, i programmatori umani non hanno rilevato gli errori delle risposte di ChatGPT nel 39% dei casi.
Sebbene questo sia solo uno studio su un aspetto delle funzionalità di ChatGPT, mostra che i bot di intelligenza artificiale generativa sono ancora soggetti a molti errori e che gli esseri umani potrebbero non rilevare tali errori.
Le Panoramiche AI di Google, introdotte nella regione degli Stati Uniti per Google Search all’inizio di maggio, hanno già generato risposte strane e piene di errori per alcune stringhe di ricerca. Google ha cercato di spiegare questi errori evidenti in dichiarazioni fatte a notiziari come Gizmodo, affermando:
“Gli esempi che abbiamo visto sono generalmente query molto rare e non rappresentano la maggior parte delle esperienze delle persone. La stragrande maggioranza delle Panoramiche AI fornisce informazioni di alta qualità, con link per approfondire sul web.”
La dichiarazione ha aggiunto che Google utilizzerà questi “esempi isolati” per aiutare a “raffinare i nostri sistemi.”
Questo studio mette in luce la necessità di un’ulteriore verifica delle risposte fornite dai chatbot di intelligenza artificiale, evidenziando l’importanza del giudizio umano nell’interpretazione delle informazioni generate automaticamente.