Quando sbaglia l'intelligenza artificiale? Abbiamo messo alla prova ChatGPT e Deepseek: gli errori

l'intelligenza artificiale non è davvero intelligente e oggi siamo qui a dimostrarvelo con Walter Riviera che è un esperto di intelligenza artificiale. Esperto non esperto perché evolve a una velocità stratosferica che è veramente difficile rimanere aggiornati. Ma comunque ti difendi bene oggi.

Quello che cercheremo di vedere sono degli esempi in cui gli LLM, cioè i Large Language Model, possono sbagliare, possono non riuscire a ragionare. Andiamo con il primo esempio, ok, quello più famoso tra l'altro, che è chiedere a ChatGPT in che posizione sono le lettere R all'interno della parola "Ramarro". Che ci sembra un compito semplicissimo, noi ci mettiamo pochissimo a farlo e immaginiamo che anche ChatGPT sia in grado. Dovrebbe. Ok, ci ha dato la posizione sbagliata.

Ma come mai un compito così semplice viene sbagliato da uno strumento così potente? Perché non ragiona su lettere e parole. La conoscenza che ha delle parole con altri raggruppamenti, pensate per esempio alle sillabe, è come se per imparare le varie parole le vedesse come combinazione di sillabe, non di lettere univoche. Quindi conosce le sillabe ma non sa dire che cosa c'è dentro le sillabe. Esatto, in realtà non sono sillabe, sono in gergo tecnico chiamati "tokens", però il concetto è simile, sono raggruppamenti di più lettere e quindi nel momento in cui chiediamo lo specifico conteggio di una lettera si perde.

E se proviamo a fare la stessa, stessa cosa con Dipstick, vediamo cosa ci dice. Vediamo la prima, la seconda R in posizione 5, quindi manca addirittura una R qua, da addirittura meno R e comunque sbaglia la posizione. Però se attiviamo il Deep Thinking, che è la versione R1 che è stata rilasciata proprio a gennaio 2025, e rifacciamo la stessa domanda: "Nella parola ci sono tre R, la prima, la quinta e la sesta". Oh, ce l'ha fatta! Quindi Dipstick nella versione non R1 non riusciva, invece con R1 riesce a farlo. Come mai? Come è stata possibile questa, questa miglioria? Cos'è che fa in più? Perché anziché prendere la richiesta che abbiamo fatto come un blocco unico, prova a sminuzzare le. Quindi sa in qualche modo, ma non perché è cosciente, perché è stato programmato in quel modo, che non ha l'abilità di leggere le singole lettere e quindi lascia risolvere il problema ad un'altra metodologia, che è banalmente scriversi un pezzettino di codice che conta le R e ti dice anche in che posizione sono. Infatti, anche con ChatGPT, se noi proviamo a dirgli di contare le R in "Ramarro" e di dirci in che posizione sono e di risolverlo attraverso un codice, decidono di non usare il proprio motore, ma di usare invece un codice Python. Tra l'altro, in questo caso, comunque dei metodi alternativi perché sanno che quello è il punto debole.

Se invece io gli chiedo di risolvere qualcosa di un po' più logico, un po' più umano nel ragionamento, tra virgolette, come un indovinello, che cosa succede? Possiamo fare un. Ok, prendiamo ad esempio l'indovinello dei tre interruttori con la lampadina nell'altra stanza. Ok, quindi la situazione è questa: sono fuori dalla stanza, ho tre interruttori, devo smanettarci o spenta e capire quale dei tre interruttori era quello giusto. Noi la sappiamo la soluzione di questo indovinello. Vediamo se la fanno loro. Vediamo se la sa fare anche Dipstick R1. Vediamo se ci ha dato la risposta giusta. Qui dice: "Accendi il primo e lascialo acceso per 5-10 minuti. Dopo questo tempo, spegnilo e accendi il secondo. A questo punto entra nella stanza". Questa è la soluzione giusta. Perché? Perché io entro, se la lampadina è accesa, è il secondo, è il secondo sicuramente. Se invece è spenta, potrebbe essere il primo oppure l'ultimo che non abbiamo toccato. Esatto. La differenza cosa la fa? Se è calda, vuol dire che è stata accesa in precedenza, quindi era il primo interruttore. Se invece è fredda, era l'ultimo interruttore. E l'ha risposto correttamente, sa darci la soluzione.

Adesso proviamo ad ingannarlo. Ti faccio vedere perché va a pescare la risposta più probabile e non ragiona davvero. Riformuliamo l'indovinello, ma questa volta glielo facciamo più semplice. La persona è in una stanza con pareti di vetro, quindi per controllare se la lampadina è accesa basta accendere gli interruttori perché effettivamente dal vetro si vede se la lampadina accesa e spenta e riusciamo a risolverlo senza neanche usare la porta. Ci viene data la risposta in 15 secondi. Dice: "Ho pensato per 15 secondi e alla fine ecco la soluzione al classico enigma". Quindi non ha veramente pensato agli elementi che noi abbiamo fornito, è partito per la tangente. Quindi o non ci ascolta, o ci ascolta ma non capisce. Cioè, ha trovato nelle nelle informazioni che conosce l'indovinello e quindi ha detto "Io la so la soluzione". Non ha considerato che noi avevamo aggiunto che c'era una porta di vetro. Un essere umano, invece, sentendo che la porta è di vetro, cosa avrebbe detto? Ah, vabbè, ma se è di vetro, vedo se la lampadina è già accesa.

Perché sbagliano? Perché ci sono delle cose che una macchina così intelligente non sa fare. Perché dobbiamo pensare a questi strumenti come degli ottimi manipolatori di testo. Quindi prendono le decisioni sul testo ed è un'associazione che viene fatta. Quindi non ti danno la risposta più corretta o sensata, ma ti danno la cosa più probabile. All'inizio ho detto scherzando che l'intelligenza artificiale non è intelligente. Quello che io intendevo dire è che a noi sembra che ragioni, ma in verità, tu mi insegni che imita un ragionamento. Assolutamente sì. Ci dà proprio l'impressione di sapere qualcosa, di saperla anche bene. E questo è un esempio che possono fare un po' tutti. Se gli si chiedesse qualcosa di cui noi siamo pienamente consapevoli, qualcosa del proprio lavoro, un esercizio, ci dà la risposta e sappiamo validarla. Ma quando chiediamo qualcosa al di fuori delle nostre competenze, l'unica cosa che ci resta da fare è fidarci. Sì, perché ci dà una risposta sufficientemente corretta da sembrarci credibile. Ma come dicevi tu, quando non abbiamo le competenze precise, corrette, non sappiamo valutare se c'è un'imprecisione.

E infatti, la mia altra domanda è: quali sono quindi i casi in cui ChatGPT, Dipstick, o comunque questi LLM devono essere utilizzati con la sicurezza di pensare "lo sa fare" e quando invece ci deve venire un dubbio in più perché gli stiamo chiedendo qualcosa che allo stato attuale non sanno fare? Poi si sa che l'intelligenza artificiale va alla velocità della luce, però appunto, come vanno usati con con che cognizione di causa? Beh, partiamo dal presupposto che sono strumenti e lo strumento infallibile per definizione non esiste. Ok? Quindi, dato per la su- dato questo, tutti i lavori mi verrebbe da dire che hanno a che fare con la sintassi, quindi con la manipolazione del testo: riassunti, traduzioni, frasi alternative per dire la stessa cosa, scrivere un'email ufficiale al capo. Esatto. Per queste cose possiamo stare abbastanza tranquilli. Quando il bisogno è sul contenuto, quindi sulla semantica, sul significato di quello che stiamo esprimendo, magari darei una rilettura prima di premere "Invia" sulla mail. Però abbiamo visto che ci sono state delle delle migliorie ultimamente, no? L'uscita di Dipstick R1, ma anche di ChatGPT 4, hanno alzato un pochino l'asticella, perché c'è una nuova metodologia in gioco che è la "Chain of Thoughts", catena di ragionamento. Non dobbiamo farci ingannare dall'uso di questo termine, perché di fatto cosa succede dietro le quinte? Prima di darci una risposta, anziché prendere in blocco la nostra domanda e cercare il testo più probabile che gli assomiglia, prova a spezzettare la nostra richiesta in frasi più piccole per comprendere un po' meglio il contesto. Questo vuol dire che davanti ad una frase e che ne segue un'altra, prova a vedere se ci sono delle implicazioni che non abbiamo detto e dei collegamenti che non sono direttamente percepibili dal testo. Però tutto questo sono calcoli in più, e sempre fatti sul testo.

Uno dei grandi vantaggi, però, che Dipstick sembra avere rispetto a ChatGPT, è proprio il fatto che utilizzi molti meno dati e sprechi molta meno energia. O sbaglio? È corretto. Lì bisogna entrare nel dettaglio di come vengono fatti i calcoli, più che cosa viene calcolato. Ossia, Dipstick usa delle scorciatoie proprio a livello matematico. Ti faccio un esempio: anziché avere il numero 25,34,18 cifre dopo la virgola, magari ne usa meno. E questo, dal punto di vista del del dispositivo che deve fare i calcoli, sono calcoli più leggeri. Prova a fare tu un'operazione, una moltiplicazione con. Certo, se decido di ignorare le cifre decimali, ci metto molto meno. È un risultato leggermente più impreciso, ma sicuramente più efficiente da un punto di vista del tempo. Bravissima. Quindi la stessa identica cosa. Questa è la velocità che ha sbloccato Dipstick, cioè riesce a fare gli stessi calcoli. E quello che impariamo da questa innovazione, cos'è? È il messaggio che pur sacrificando un po' di precisione, riusciamo comunque ad ottenere dei risultati tuttavia accettabili. Questo fatto della precisione ci fa capire un concetto importante, cioè che usare questi strumenti, come hai detto tu, strumenti con cognizione di causa, cioè facendogli fare qualcosa che sapremmo comunque fare, ci dà modo di valutare se noi stiamo facendo approssimare un calcolo, abbiamo la consapevolezza che ci sia un'approssimazione. Se gli stiamo chiedendo qualcosa di un argomento che conosciamo molto bene, abbiamo la consapevolezza di cosa ci sta dicendo molto bene e cosa ci sta dicendo un po' meno bene, e dobbiamo correggere. Quindi, forse la regola generale è il mantra è che appunto, sono strumenti da usare con competenza, perché sono un valore aggiunto a qualcosa che sappiamo fare, più che usarli come verità assoluta, perché purtroppo, effettivamente, c'è chi adesso utilizza, parlo di ChatGPT perché è più tempo che l'abbiamo tra le mani, chi utilizza ChatGPT come una verità assoluta. Assolutamente sì.

Ricordiamoci che sono un'estensione delle nostre capacità. E poi, giusto per sottolineare questo livello di affidabilità diverso, strumenti diversi portano delle capacità diverse. Abbiamo visto degli esempi dove Dipstick dà alcune risposte, su altre evita, e lo stesso però vale per ChatGPT o gli altri derivati. Quindi, a seconda dello strumento che si usa, potremmo avere risposte diverse sulla stessa domanda.

Quindi, per concludere, non è vero che l'intelligenza artificiale non è intelligente del tutto, però chiamarla intelligente presuppone appunto che sappia ragionare. La verità è che sa imitare in un modo sempre più efficiente, sempre meglio, il nostro modo di ragionare, che siamo noi ad insegnarglielo. Ma è vero che imita un ragionamento, ma non dobbiamo confonderlo con un ragionamento vero e proprio. Se è qualcosa che noi non abbiamo mai saputo fare, molto probabilmente non lo saprà fare neanche la macchina. Quindi la grande lezione è: usare intelligenza artificiale con cognizione di causa e sempre ricordandosi che è uno strumento. Io ringrazio ancora Walter per essere stato con noi e vi do appuntamento al prossimo video, sempre qui su GeoPop, le scienze nella vita di tutti i giorni.