AI: Cosa sono gli LLM e cosa possono fare per la gestione patrimoniale?

Stefan, i Large Language Models (LLM) sono stati sviluppati per comprendere e generare il linguaggio umano. Come riescono a farlo?

Gli LLM sono reti neurali specializzate nella previsione della parola successiva in un testo. Si basano sulla cosiddetta architettura Transformer, resa nota da Google nel 2017 con il documento "Attention is All You Need". Il modello è costituito da vari componenti, tra cui il "word embedding", che converte le parole in vettori numerici. Un codificatore elabora questi vettori, mentre un decodificatore genera il testo a partire da essi. Tuttavia, l'elemento chiave che ha consentito agli LLM di fare un balzo in avanti è la "testa di attenzione". Questa componente valuta l'importanza di ciascuna parola rispetto alle altre nella sequenza, permettendo di comprendere il contesto e filtrare le informazioni rilevanti.

L'addestramento degli LLM richiede potenti unità di elaborazione grafica (GPU). Come funziona l'addestramento?

L'addestramento è un processo in due fasi che comprende la "Pretraining" del modello di base e la successiva "Finetuning". Durante il pre-addestramento, il modello viene tipicamente addestrato con grandi quantità di dati, spesso provenienti da Internet, almeno una volta all'anno. Questo richiede migliaia di GPU, il che comporta costi elevati. Durante la "Finetuning", gli esperti creano esempi campione e valutano le risposte del LLM. La "Finetuning" viene effettuata regolarmente, ad esempio una volta alla settimana, e il feedback umano consente un miglioramento continuo del modello. Grazie a questa combinazione di apprendimento automatico e feedback umano, gli LLM possono essere ottimizzati per apprendere risposte migliori e comportamenti eticamente corretti.

Il cervello umano memorizza le informazioni modificando le sinapsi tra le cellule cerebrali. Dove viene immagazzinata la conoscenza nei LLM?

Un LLM è costituito da molti strati neuronali interconnessi. Queste connessioni hanno diverse intensità, rappresentate dai cosiddetti pesi. Ogni peso determina quanto forte viene trasmesso un segnale da un neurone all'altro. Questi pesi vengono ottimizzati durante l'addestramento con grandi quantità di dati. La conoscenza nei LLM è memorizzata nei pesi, nelle connessioni e nella struttura della rete neurale. Ad esempio, Chat GPT-4 ha circa 17 trilioni di pesi. In confronto, il cervello umano ha 100 mila miliardi di sinapsi. Tuttavia, questo divario potrebbe chiudersi rapidamente poiché lo sviluppo degli LLM sta avanzando rapidamente e i modelli diventano sempre più grandi.

Lo psicologo Daniel Kahneman descrive il pensiero umano in termini di due sistemi. Il sistema istintivo funziona rapidamente e automaticamente, mentre il sistema logico risolve compiti complessi passo dopo passo. Come si presenta questo aspetto con gli LLM?

Gli attuali LLM, come Chat GPT-4, sono incredibilmente potenti nell'ambito del primo sistema. Possono elaborare rapidamente grandi quantità di testo e sono particolarmente adatti per compiti che richiedono risposte automatiche veloci. Tuttavia, gli LLM non possiedono un vero e proprio equivalente del sistema logico di Kahneman. Non possono risolvere i problemi nello stesso modo logico e graduale di un essere umano, che procede in maniera consapevole e metodica. La ricerca sull'AI sta sempre più puntando verso sistemi operativi di AI (AI-OS) che integrano diverse intelligenze artificiali e applicazioni specializzate, coordinandone la collaborazione. Queste applicazioni, focalizzate su compiti specifici, permettono di risolvere problemi complessi in modo rapido e intuitivo, oltre che logico e metodico.

I sistemi di AI sono effettivamente intelligenti secondo il nostro concetto di intelligenza?

Questo è un argomento molto dibattuto, con opinioni a volte contraddittorie. I modelli AI non hanno una propria opinione o consapevolezza. Tuttavia, possono offrire una prospettiva informata basata su discussioni e ricerche attuali. Il pioniere dell'AI, Geoffrey Hinton, lo illustra con un esempio:

La risposta corretta di Chat GPT-4 dimostra che gli LLM possono fornire risposte sorprendenti. Per prevedere accuratamente la parola successiva in una frase, un LLM deve comprendere il testo. Tuttavia, gli LLM non sono ancora in grado di comprendere il mondo in modo così completo e profondo come gli esseri umani. Una differenza fondamentale sta nel modo in cui gli LLM e gli esseri umani apprendono. Gli LLM sono addestrati esclusivamente con dati testuali, mentre gli esseri umani imparano non solo attraverso il linguaggio, ma soprattutto attraverso l'esperienza diretta. Queste esperienze ci permettono di comprendere relazioni complesse, di provare emozioni e di trovare soluzioni creative.

I corsi di laurea magistrale non solo aprono opportunità, ma comportano anche rischi. Il genio dell'intelligenza artificiale che hai menzionato, Geoffrey Hinton, ha recentemente avvertito che la superintelligenza potrebbe arrivare prima del previsto. Come valuti questo avvertimento?

Questo avvertimento è ancora più significativo se si considera che Geoffrey Hinton è conosciuto come un ricercatore cauto e riflessivo. Il suo monito mira a motivare governi e aziende a prendere sul serio lo sviluppo e la regolamentazione dell'intelligenza artificiale. Il pericolo principale che Hinton evidenzia risiede nella natura immortale dei modelli di AI, che possono essere riprodotti a piacimento e copiati in pochi secondi. Gli esseri umani, al contrario, possono scambiare informazioni solo lentamente e le loro conoscenze si perdono con la morte. Questa dinamica asimmetrica comporta rischi significativi, poiché i potenti sistemi di AI potrebbero essere utilizzati in modo improprio senza controlli adeguati, ad esempio per diffondere disinformazione, manipolare opinioni, effettuare attacchi informatici o violare la privacy.

Anche la gestione degli asset potrebbe beneficiare dell'uso di trasformatori e LLM. Quali sono gli esempi di applicazione?

L'architettura dei trasformatori negli LLM può essere impiegata per prevedere le serie temporali e le tendenze future. Nel Systematic Equity Team dell'Asset Management di Zürcher Kantonalbank, stiamo attualmente sviluppando un modello per la previsione dei rendimenti azionari utilizzando i trasformatori. Gli LLM possono essere utilizzati anche per analizzare le relazioni trimestrali delle aziende. Valutando il sentiment nei report aziendali, nelle notizie e nelle conference call, gli investitori possono comprendere meglio il clima di un'azienda e i potenziali sviluppi futuri.

Quindi, l'LLM supporta anche la ricerca azionaria?

Assolutamente, il supporto alle analisi delle scorte è un'altra importante area di applicazione degli LLM. Gli LLM possono elaborare e riassumere grandi volumi di dati provenienti da vari rapporti. Questo fornisce agli analisti una fonte completa di informazioni e facilita l'elaborazione e la valutazione dei dati disponibili. Di conseguenza, possono prendere decisioni più informate e basare le loro raccomandazioni su un database più ampio.