Tenere attiva la memoria degli agenti AI può renderli più economici: come funziona la cache dei chatbot

Un agente di intelligenza artificiale non trascorre tutto il tempo a generare risposte. Può avviare un programma, consultare un servizio esterno, eseguire un test o fermarsi in attesa dell’autorizzazione dell’utente. Durante queste pause rischia però di perdere una scorciatoia che permette ai modelli linguistici di lavorare più velocemente e con una spesa inferiore: la cache del prompt.

Uno studio pubblicato su arXiv propone di mantenerla attiva attraverso brevi segnali periodici, chiamati keepalive. Nei test condotti con i servizi di Anthropic, OpenAI, Google e DeepSeek, questa tecnica ha consentito di mantenere nella cache dei chatbot gran parte del prefisso già elaborato anche durante pause abbastanza lunghe da provocarne normalmente la rimozione. Nel caso più favorevole, il costo della singola richiesta inviata dopo la pausa può ridursi di un fattore massimo di 12,5. La convenienza complessiva dipende però dal tempo trascorso, dalla piattaforma adoperata e dalla frequenza con cui vengono effettuati i keepalive.

Che cos’è la cache del prompt e perché rende l’AI più efficiente

Quando viene inviata una richiesta a un modello linguistico di grandi dimensioni, il sistema deve innanzitutto analizzare il testo ricevuto. Le istruzioni, i messaggi precedenti e gli eventuali documenti vengono suddivisi in token, cioè piccole unità, e trasformati in uno stato interno utilizzabile per produrre la risposta. Questa fase iniziale prende il nome di prefill.

Nelle conversazioni lunghe, gran parte del contenuto rimane identica da una chiamata alla successiva. Per evitare di ripetere ogni volta gli stessi calcoli, i fornitori possono conservare temporaneamente il prefisso già processato, cioè la parte iniziale del prompt che rimane uguale tra una richiesta e la seguente. Il modello deve così occuparsi soltanto della porzione aggiunta.

Non si tratta della memoria a lungo termine con cui un chatbot può ricordare preferenze o informazioni sull’utente. È un meccanismo tecnico, paragonabile al lasciare sulla scrivania i documenti che serviranno ancora e finché restano disponibili non occorre prepararli nuovamente.

Nei servizi esaminati nello studio, i token recuperati dalla cache possono costare molto meno rispetto a quelli elaborati da zero, in alcuni casi circa un decimo. Il sistema impiega inoltre meno tempo per iniziare a generare la risposta.

Perché le pause degli agenti AI possono far aumentare i costi

Il problema emerge soprattutto nei sistemi agentici, il cui ciclo di lavoro può essere riassunto in tre fasi: ragionare, agire e attendere. Dopo aver stabilito quale operazione compiere, l’agente utilizza uno strumento esterno. Potrebbe, per esempio, compilare del codice, avviare una serie di test, interrogare un database o chiedere una conferma prima di inviare un’email.

Queste attività possono richiedere diversi minuti. Nel frattempo, la memoria temporanea associata al prefisso rimane inutilizzata e il fornitore può rimuoverla per liberare risorse.

Se nel frattempo la copia è stata rimossa, quando arriva la richiesta seguente il sistema non riesce più a recuperare i calcoli già svolti, anche se la cronologia della conversazione è rimasta quasi identica. Il contesto è ancora presente e l’agente non ha dimenticato l’attività da completare, ma il prefill deve essere eseguito nuovamente.

La conseguenza diventa rilevante quando la cronologia comprende decine di migliaia di token e la stessa dinamica si ripete più volte. Ogni rimozione del prefisso dalla cache comporta una nuova fase di prefill, con un aumento della spesa e del tempo necessario perché la risposta inizi a comparire.

Come funziona il keepalive e cosa ha mostrato lo studio

La soluzione analizzata consiste nel reinviare durante l’attesa lo stesso prefisso, chiedendo al modello di generare la quantità minima possibile di nuovo contenuto. Ciascun segnale rinnova la permanenza dei dati nella cache, evitando che la piattaforma elimini lo stato interno prodotto durante l’elaborazione del prompt. Il principio ricorda i messaggi keepalive impiegati nelle connessioni di rete per comunicare che una sessione è ancora attiva.

Per verificare l’efficacia della tecnica, sono stati utilizzati contesti da 40.000 e 100.000 token, introducendo pause di 1, 5 e 10 minuti. In una parte delle prove non è stato inviato alcun segnale durante l’intervallo, mentre nelle altre il prefisso è stato riproposto ogni 30 secondi.

Sono state inoltre effettuate misurazioni fino a 40 minuti, allo scopo di individuare il momento in cui ciascun servizio tendeva a eliminare i dati conservati.

Con i keepalive attivi, in ciascun gruppo di test è stata recuperata dalla cache una quota mediana pari ad almeno il 98% dei token del prompt.

Nei test, il prefisso veniva completamente espulso dalla cache di Anthropic dopo circa 6 minuti, mentre su DeepSeek ciò avveniva entro 10 minuti. Nel caso di OpenAI, diventava del tutto “freddo” intorno alla mezz’ora.

I risultati relativi a Google sono stati meno lineari. La piattaforma non ha mostrato un punto di scadenza stabile, probabilmente perché le richieste potevano essere indirizzate verso macchine differenti. I ping hanno aumentato la probabilità di ritrovare i dati, ma non è stato possibile individuare con la stessa precisione una finestra di convenienza economica.

Quando tenere “calda” la cache conviene davvero

Mantenere attivo il prefisso non è sempre vantaggioso. Ogni segnale comporta infatti un consumo di risorse e, se viene inviato troppo spesso, la spesa aggiuntiva può superare il risparmio ottenuto evitando una nuova elaborazione.

Lo studio mostra che l’intervallo di 30 secondi impiegato nelle prove era circa otto volte più dispendioso del necessario per Anthropic. Per ridurre gli sprechi, occorre attendere il più possibile senza oltrepassare il periodo durante il quale il fornitore conserva con sufficiente certezza i dati.

In base alle misurazioni, qualora si scelga di usare il keepalive, l’intervallo più efficiente sarebbe di circa 4 minuti per Anthropic e DeepSeek e di 8 minuti per OpenAI. Questi valori includono un margine di sicurezza rispetto alla scadenza osservata.

Anche la durata complessiva della pausa ha un ruolo decisivo. Se la pausa è molto breve, il contenuto rimane comunque disponibile e il keepalive rappresenta soltanto un costo aggiuntivo. Se l’attesa si prolunga eccessivamente, invece, la somma dei segnali può diventare più cara di un singolo nuovo prefill.

Esiste quindi una fascia intermedia nella quale tenere “calda” la cache risulta realmente conveniente. Durante una pausa di 30 minuti con un contesto da 100.000 token, considerando i ping e la richiesta successiva, la tecnica ha ridotto la spesa di un fattore 1,56 su Anthropic e fino a 2,45 su OpenAI, utilizzando per ciascuna piattaforma l’intervallo più adatto.

Su DeepSeek, il prezzo di una nuova elaborazione era già tanto contenuto da rendere sconveniente la serie di ping. Per Google, invece, l’assenza di una scadenza prevedibile non ha permesso di calcolare una strategia altrettanto precisa.

Il valore massimo di 12,5 volte riguarda il costo della richiesta successiva e deriva dal confronto tra il caso in cui il prefisso è ancora disponibile e quello in cui l’intero contesto deve essere elaborato da zero. Considerando pure i segnali inviati durante l’attesa, il vantaggio economico dell’operazione completa è più contenuto.

La tecnica offre comunque un ulteriore beneficio: nei servizi in cui la copia in cache era stata eliminata, il keepalive ha ridotto sensibilmente il tempo necessario per iniziare a generare la risposta.

Perché questa soluzione potrebbe non durare per sempre

Conservare lo stato interno può essere conveniente per il singolo sviluppatore, ma potrebbe diventare più problematico se la tecnica si diffondesse. Gli spazi di cache disponibili sono condivisi e, se ogni agente inviasse continuamente segnali, numerosi prefissi apparirebbero sempre recenti e quindi da conservare, aumentando la pressione sulle infrastrutture delle piattaforme.

Per questo, i fornitori potrebbero introdurre limiti temporali assoluti, quote per ciascun account o tariffe specifiche basate sul numero di token mantenuti in memoria per ogni ora.

Il lavoro è inoltre una prepubblicazione e presenta alcuni limiti. Le misurazioni descrivono le condizioni osservate con un solo sistema di test. Le prove su Google sono state ridotte dalle quote disponibili, mentre DeepSeek è stato esaminato attraverso uno specifico servizio intermedio.

I risultati mostrano comunque che, nelle attività composte da azioni e tempi morti, conservare il contesto già elaborato può evitare calcoli ripetuti. Per ottenere un risparmio reale, però, la frequenza dei keepalive deve essere adattata al comportamento e ai prezzi della singola piattaforma.

non perderti questo articolo

Google Search cresce del +4% nonostante il boom dei chatbot AI, ma la ricerca online sta cambiando