Ultimamente alcuni utenti stanno riscontrando una minor attendibilità nelle risposte fornite da ChatGPT. Il chatbot di OpenAI sembrerebbe, infatti, riscontrare dei problemi in attività che venivano in passato svolte agilmente come ad esempio la risoluzione di problemi matematici.
Queste attività, sono "semplici" per i computer fin dalle loro prime implementazioni pratiche, eppure, sembrerebbe che ChatGPT ultimamente faccia fatica anche a risolvere problemi piuttosto semplici come indicare se un numero sia primo o meno. Un ulteriore regressione si sarebbe manifestata nella generazione e correzione dei codici scritti in linguaggio di programmazione, anche questa era un'attività che veniva svolta con discreta accuratezza dal chatbot in passato.
Il Large Language Model (LLM) utilizzato da ChatGPT è "GPT", tale LLM è disponibile gratuitamente in versione 3.5 mentre è necessario sottoscrivere un abbonamento al tool di OpenAI per sbloccare l'utilizzo della versione 4 che, almeno sulla carta, dovrebbe garantire risposte più precise ed in minor tempo.
I miglioramenti apportati da GPT-4 sarebbero dovuti, principalmente, al maggior numero di parametri sul quale l'algoritmo sarebbe stato addestrato.
Quando si parla di modelli di intelligenza artificiale come ChatGPT, è bene ricordare, che ci riferiamo ad algoritmi che utilizzano ciò che "hanno imparato" scandagliando un larghissimo numero di informazioni disponibili online per cercare di fornire una risposta che sia coerente con la richiesta dell'utente.
Tuttavia, è bene tenere a mente che non vi è una reale "intelligenza", nell'accezione umana del termine, dietro a questi algoritmi bensì una ricerca del software di ciò che l'utente potrebbe volere come risposta al suo quesito.
Non vi è una dichiarazione ufficiale da parte di OpenAI dei problemi riscontrati, pertanto, possiamo soltanto muoverci nel campo delle ipotesi.
Tra le motivazioni che potrebbero aver portato ad una regressione nelle capacità del chatbot vi è una possibile rivisitazione del modello utilizzato da ChatGPT per fornire risposte, infatti, si ipotizza che OpenAI stia lavorando allo "spezzettamento" del modello unico utilizzato fino ad oggi in tanti sotto-modelli in grado di ridurre il consumo energetico necessario al funzionamento del chatbot da un lato e riuscendo a garantire un tempo di risposta inferiore dall'altro.
Dei ricercatori delle università di Stanford e Berkeley starebbero lavorando ad un'analisi per misurare il grado di regressione del tool di OpenAI, tuttavia alcuni utenti stanno iniziando ad eseguire dei test "fai da te" per comprendere quanto sia peggiorato il servizio nelle ultime settimane.
Nei test condotti da vari utenti, ad esempio, l'accuratezza con la quale il chatbot rispondeva correttamente al quesito "questo numero è primo?" sarebbe calata di circa il 90% nell'ultimo periodo.
Anche noi di Geopop abbiamo provato a mettere alla prova ChatGPT, ecco com'è andata: