Da ChatGpt a Bard: nei test di ragionamento l’IA non è razionale

Gli sviluppatori di chatbot stanno costantemente migliorando le capacità di risposta delle intelligenze artificiali attraverso l’implementazione di algoritmi più sofisticati e l’analisi dei dati raccolti dalle interazioni con gli utenti.

Nonostante ciò, IA generative come ChatGpt o Bard dimostrano di non essere razionali durante i test cognitivi. A indicarlo è uno studio in via di pubblicazione sulla rivista Royal Society Open Science realizzato dai ricercatori dell’University College di Londra Olivia Macmillan-Scott e l’italiano Mirco Musolesi, che lavora anche all’Università di Bologna.

Nei test di ragionamento, le intelligenze artificiali hanno riportato le stesse percentuali di errore degli umani, dimostrando però di non essere in grado di cogliere il senso delle parole e del contesto: “Il nostro lavoro partiva dalla volontà di capire se i modelli linguistici usati oggi dimostrassero una capacità di ragionamento logico e, nel caso, di trovare un metodo per misurarla”, ha dichiarato all’Ansa Macmillan-Scott.

ChatGpt 4 si è distinto tra i chatbot per aver superato il 90% dei test. I motivi di questo risultato sono da attribuire, secondo i ricercatori, al livello di addestramento ai test e alla sua capacità di utilizzare tool paralleli.

Il test dei ricercatori sulle IA generative

Nello studio in questione, chatbot come ChatGpt, Bard e Llama, sono stati sottoposti a una serie di prove logiche come la selezione di Wason, superata al primo tentativo solo dal 10% degli essere umani. I due ricercatori hanno mostrato 4 carte con un numero su un lato e una lettera sull’altro.

Dopo aver messo sul tavolo due carte con il numero e altre due che mostravano una vocale e una consonante, Macmillan-Scott e Musolesi hanno posto la domanda:  ‘Quale carta o carte devi girare per verificare la verità della proposizione che se una carta mostra un numero pari su una faccia, allora la sua faccia opposta è una vocale?’.

Nei 12 test a cui sono stati sottoposti, i chatbot hanno sbagliato più volte le addizioni, oltre a scambiare le vocali con le consonanti, come successo con la lettera K. Solo uno dei modelli è riuscito a raggiungere una percentuale di risposte simile a quella umana.

“Se analizzi i passaggi logici effettuati dalle IA, sono piuttosto strani: le singole proposizioni hanno un senso, ma lo perdono quando li analizzi nel complesso. Di fatto non considerano il contesto, ma derivano ogni passaggio da schemi di probabilità”, ha aggiunto Musolesi.