Questa ricerca sull'intelligenza artificiale approfondisce i limiti e le capacità dei Transformer Large Language Models (LLM), empiricamente e teoricamente, su compiti compositivi

ChatGPT è di tendenza e milioni di persone lo utilizzano ogni giorno. Con le sue incredibili capacità di imitare gli esseri umani, come rispondere a domande, generare contenuti unici e creativi, riassumere enormi quantità di dati testuali, completare il codice e sviluppare assistenti virtuali altamente utili, ChatGPT ci sta semplificando la vita. Sviluppato da OpenAI, ChatGPT si basa sull'architettura GPT 3.5 (Generative Pre-Trained Transformer) e sull'architettura del trasformatore GPT 4. GPT 4, l'ultima versione dei modelli linguistici rilasciata da OpenAI, è di natura multimodale, ovvero accetta input sotto forma di testo e immagini, a differenza delle versioni precedenti. Anche altri Large Language Models (LLM) come PaLM, LLaMA e BERT vengono utilizzati in applicazioni di vari settori che coinvolgono sanità, commercio elettronico, finanza, istruzione, ecc.

Un team di ricercatori ha evidenziato la differenza tra le prestazioni impressionanti degli LLM come GPT su compiti complessi e le loro difficoltà con compiti semplici in un documento di ricerca pubblicato di recente. Approfondendo i limiti e le capacità dei Transformer LLM, il team ha condotto esperimenti su tre compiti compositivi rappresentativi: moltiplicazione a più cifre, puzzle con griglia logica e un classico problema di programmazione dinamica. Queste attività implicano la scomposizione dei problemi in passaggi più piccoli e la combinazione di tali passaggi per produrre una soluzione esatta.

Con l'obiettivo di studiare i limiti dei Transformers nella risoluzione di compiti compositivi che richiedono un ragionamento in più fasi, gli autori hanno proposto due ipotesi. Il primo è che i Transformers svolgono compiti linearizzando il ragionamento in più fasi in abbinamento di percorsi, basandosi quindi sul pattern-matching e sull'apprendimento rapido piuttosto che comprendere e implementare effettivamente le regole computazionali sottostanti necessarie per sviluppare soluzioni adeguate. Questo approccio consente previsioni rapide e accurate in modelli simili durante l'addestramento, ma non riesce a generalizzare ad esempi complessi non comuni. La seconda ipotesi afferma che i Transformers potrebbero avere limitazioni intrinseche nel tentativo di risolvere compiti compositivi ad alta complessità con modelli unici. I primi errori computazionali potrebbero diffondersi e provocare gravi errori di composizione nelle fasi successive, impedendo ai modelli di arrivare alla soluzione giusta.

Gli autori hanno formulato i compiti compositivi come grafici di calcolo al fine di indagare le due ipotesi. Questi grafici scompongono il processo di risoluzione dei problemi in passaggi funzionali submodulari più piccoli e più gestibili, consentendo misure strutturate della complessità del problema e verbalizzazione dei passaggi di calcolo come sequenze di input per modelli linguistici. Usano persino il guadagno di informazioni per fare previsioni sui modelli che i modelli probabilmente apprenderebbero in base alla distribuzione delle attività sottostanti senza eseguire calcoli completi all’interno del grafico.

Sulla base dei risultati empirici, gli autori hanno proposto che i Transformers gestiscano le sfide compositive riducendo il ragionamento in più fasi nella corrispondenza dei sottografi linearizzati. Hanno fornito argomentazioni teoriche basate su problemi astratti di ragionamento in più fasi, che evidenziano che all'aumentare della complessità del compito, le prestazioni di Transformers si deteriorano rapidamente. Ciò dimostra che i modelli potrebbero già essere limitati nella loro capacità di gestire problemi compositivi di grande complessità.

In conclusione, i risultati empirici e teorici implicano che, piuttosto che una comprensione approfondita dei processi di pensiero sottostanti, le prestazioni dei Transformers sono per lo più guidate dalla corrispondenza di modelli e sottografi, il che supporta anche l'idea che i Transformers avrebbero difficoltà a svolgere compiti sempre più difficili. .

Dai un'occhiata alCarta.Non dimenticare di iscrivertiil nostro subReddit da 22k+ ML,Canale Discordia, ENewsletter via e-mail , dove condividiamo le ultime notizie sulla ricerca sull'intelligenza artificiale, interessanti progetti sull'intelligenza artificiale e altro ancora. Se avete domande riguardanti l'articolo sopra o se ci siamo persi qualcosa, non esitate a contattarci via email a