Come funziona ChatGPT?

ChatGPT è uno dei nuovi strumenti più brillanti basati sull'intelligenza artificiale, ma gli algoritmi che lavorano in background hanno effettivamente alimentato un'intera gamma di app e servizi dal 2020. Quindi, per capire come funziona ChatGPT, dobbiamo iniziare parlando della lingua sottostante motore che lo alimenta.

Il GPT in ChatGPT è principalmente GPT-3, o Generative Pre-addestrato Transformer 3, sebbene GPT-4 sia ora disponibile per gli abbonati ChatGPT Plus e probabilmente presto diventerà più diffuso. I modelli GPT sono stati sviluppati da OpenAI (la società dietro ChatGPT e il generatore di immagini DALL·E 2), ma alimentano tutto, dalle funzionalità AI di Bing agli strumenti di scrittura come Jasper e Copy.ai. In effetti, la maggior parte dei generatori di testo AI disponibili al momento utilizza GPT-3 e probabilmente offrirà GPT-4 come passaggio successivo.

ChatGPT ha portato GPT-3 alla ribalta perché ha reso il processo di interazione con un generatore di testo AI semplice e, soprattutto, gratuito per tutti. Inoltre, è un chatbot e le persone adorano un buon chatbot sin da SmarterChild.

Mentre GPT-3 e GPT-4 sono i Large Language Model (LLM) più popolari in questo momento, nei prossimi anni è probabile che ci sarà molta più concorrenza. Google, ad esempio, ha Bard, il suo chatbot AI, che è alimentato dal proprio motore linguistico Pathways Language Model (PaLM 2). Ma per ora, l'offerta di OpenAI è lo standard de facto del settore. È solo lo strumento più semplice su cui le persone possono mettere le mani.

Quindi la risposta a "come funziona ChatGPT?" è fondamentalmente: GPT-3 e GPT-4. Ma andiamo un po' più a fondo.

Che cos'è ChatGPT?

ChatGPT è un'app creata da OpenAI. Utilizzando i modelli di linguaggio GPT, può rispondere alle tue domande, scrivere testi, redigere email, tenere una conversazione, spiegare il codice in diversi linguaggi di programmazione, tradurre il linguaggio naturale in codice e altro ancora, o almeno provare a farlo, tutto basato sul linguaggio naturale ti chiede di dargli da mangiare. È un chatbot, ma davvero, davvero buono.

Mentre è bello giocare se, diciamo, vuoi scrivere un sonetto shakespeariano sul tuo animale domestico o avere qualche idea per l'oggetto per alcune e-mail di marketing, è anche un bene per OpenAI. È un modo per ottenere molti dati da utenti reali e funge da demo di fantasia per la potenza di GPT, che altrimenti potrebbe sembrare un po' confusa a meno che tu non sia profondamente coinvolto nell'apprendimento automatico.

In questo momento, ChatGPT offre due modelli GPT. L'impostazione predefinita, GPT-3.5, è meno potente ma disponibile a tutti gratuitamente. Il GPT-4 più avanzato è limitato agli abbonati ChatGPT Plus e anche loro ricevono solo un numero limitato di domande ogni giorno.

Una delle grandi caratteristiche di ChatGPT è che può ricordare la conversazione che stai avendo con esso. Ciò significa che può raccogliere il contesto da qualsiasi cosa tu gli abbia chiesto in precedenza e quindi utilizzarlo per informare la sua conversazione con te. Puoi anche chiedere rielaborazioni e correzioni e farà riferimento a qualsiasi cosa tu abbia discusso in precedenza. Rende l'interazione con l'IA come un vero e proprio avanti e indietro.

Se vuoi davvero farti un'idea, vai e trascorri cinque minuti a giocare con ChatGPT ora (è gratis!), E poi torna a leggere come funziona.

Come funziona ChatGPT?

Questo enorme set di dati è stato utilizzato per formare una rete neurale di deep learning [ ... ] modellata sul cervello umano, che ha consentito a ChatGPT di apprendere modelli e relazioni nei dati di testo [ ... ] prevedendo quale testo dovrebbe essere successivo in una data frase .

ChatGPT funziona tentando di comprendere la tua richiesta e quindi sputando stringhe di parole che prevede risponderanno meglio alla tua domanda, in base ai dati su cui è stato addestrato.

Parliamo effettivamente di quell'allenamento. È un processo in cui alla nascente IA vengono date alcune regole di base, e poi viene messa in situazioni o dati un sacco di dati su cui lavorare per sviluppare i propri algoritmi.

GPT-3 è stato addestrato su circa 500 miliardi di "token", che consentono ai suoi modelli linguistici di assegnare più facilmente il significato e prevedere un testo successivo plausibile. Molte parole si associano a singoli token, anche se le parole più lunghe o più complesse spesso si scompongono in più token. In media, i token sono lunghi circa quattro caratteri. OpenAI non ha parlato del funzionamento interno di GPT-4, ma possiamo tranquillamente presumere che sia stato addestrato più o meno sullo stesso set di dati poiché è ancora più potente.

Tutti i token provenivano da un enorme corpus di dati scritti da umani. Ciò include libri, articoli e altri documenti su tutti i diversi argomenti, stili e generi e un'incredibile quantità di contenuti estratti da Internet aperto. Fondamentalmente, è stato permesso di sgranocchiare la somma totale della conoscenza umana.

Questo enorme set di dati è stato utilizzato per formare una rete neurale di deep learning, un algoritmo complesso, a molti livelli e ponderato modellato sul cervello umano, che ha consentito a ChatGPT di apprendere modelli e relazioni nei dati di testo e attingere alla capacità di creare immagini simili a quelle umane. risposte prevedendo quale testo dovrebbe venire dopo in una determinata frase.

Anche se in realtà, questo svende enormemente le cose. ChatGPT non funziona a livello di frase, ma genera il testo di quali parole, frasi e persino paragrafi o strofe potrebbero seguire. Non è il testo predittivo sul tuo telefono che indovina senza mezzi termini la parola successiva; sta tentando di creare risposte completamente coerenti a qualsiasi richiesta.

Per perfezionare ulteriormente la capacità di ChatGPT di rispondere a una varietà di richieste diverse, è stato ottimizzato per il dialogo con una tecnica chiamata apprendimento per rinforzo con feedback umano (RLHF). In sostanza, gli esseri umani hanno creato un modello di ricompensa con dati di confronto (in cui due o più risposte del modello sono state classificate dai formatori di intelligenza artificiale), in modo che l'IA potesse apprendere quale fosse la risposta migliore.

Torniamo alla rete neurale che ha formato. Sulla base di tutto questo addestramento, la rete neurale di GPT-3 ha 175 miliardi di parametri o variabili che le consentono di accettare un input, il tuo prompt, e quindi, in base ai valori e alle ponderazioni che dà ai diversi parametri (e una piccola quantità di casualità ), emette ciò che ritiene più adatto alla tua richiesta. OpenAI non ha detto quanti parametri ha GPT-4, ma è un'ipotesi sicura che siano più di 175 miliardi e meno dei 100 trilioni di parametri che si diceva una volta. Indipendentemente dal numero esatto, più parametri non significano automaticamente migliori. Parte della maggiore potenza di GPT-4 deriva probabilmente dall'avere più parametri rispetto a GPT-3, ma molto probabilmente dipende dai miglioramenti nel modo in cui è stato addestrato.

Alla fine, il modo più semplice per immaginarlo è come uno di quei giochi "finisci la frase" a cui giocavi da bambino.

Alla fine, il modo più semplice per immaginarlo è come uno di quei giochi "finisci la frase" a cui giocavi da bambino. Ad esempio, quando ho dato a ChatGPT utilizzando GPT-3 il messaggio "Zapier is..." ha risposto dicendo:

"Zapier è uno strumento di automazione basato sul Web che consente agli utenti di connettere insieme diverse applicazioni Web per automatizzare attività ripetitive e migliorare i flussi di lavoro."

Questo è il tipo di frase che puoi trovare in centinaia di articoli che descrivono cosa fa Zapier, quindi ha senso che sia il genere di cose che sputa qui. Ma quando il mio editore ha dato la stessa richiesta, ha detto:

"Zapier è uno strumento di automazione basato sul web che consente agli utenti di connettere diverse applicazioni web e automatizzare i flussi di lavoro tra di loro."

È abbastanza simile, ma non è esattamente la stessa risposta. Quella casualità (che puoi controllare in alcune app GPT-3 con un'impostazione chiamata "temperatura") garantisce che ChatGPT non risponda solo a ogni singola risposta con ciò che equivale a una risposta standard. Esegue ogni prompt attraverso l'intera rete neurale ogni volta e lancia un paio di dadi qua e là per mantenere le cose fresche. Non è probabile che inizi a sostenere che Zapier è un colore di Marte, ma mescolerà le seguenti parole in base alle loro probabilità relative.

(Per quello che vale, quando si esegue su GPT-4, ChatGPT ha dichiarato: " Zapier è uno strumento di automazione basato sul Web che consente agli utenti di integrare e automatizzare attività tra varie applicazioni e servizi online." Più o meno lo stesso!)

Sputare parole, non conoscenza

I creatori di ChatGPT sono i primi a dire che può produrre informazioni errate (e forse dannose), sebbene stiano lavorando duramente per risolverlo.

Ecco un esempio addomesticato. Quando ho chiesto a ChatGPT utilizzando GPT-3 e GPT-4 di rispondere a "Harry Guinness is..." GPT-3 ha prima risposto chiedendo quale Harry Guinness. Ottima domanda: siamo letteralmente in due! Così ho detto: "Harry Guinness lo scrittore" (sono io). GPT-4 ha indovinato subito chi ero, anche se entrambe le risposte sono state affascinanti:

GPT-3: Harry Guinness è uno scrittore e giornalista freelance con sede in Irlanda. Ha scritto per una varietà di pubblicazioni, tra cui The New York Times, The Guardian, The Huffington Post e Popular Mechanics. Copre argomenti che vanno dalla tecnologia e la fotografia ai viaggi e alla cultura.

GPT-4: Harry Guinness è uno scrittore, fotografo ed esperto di tecnologia irlandese. Ha scritto per varie pubblicazioni, tra cui How-To Geek, Lifehacker e Tuts+. Il suo lavoro si concentra principalmente su tecnologia, tutorial e suggerimenti, nonché su fotografia e modifica delle immagini. Guinness ha costruito una reputazione per la creazione di guide dettagliate che aiutano i lettori a comprendere argomenti complessi o risolvere problemi in modo semplice.

La prima e l'ultima riga di GPT-3 sono estratte quasi alla lettera dai miei vari siti Web e dalle biografie degli autori sul Web (anche se normalmente mi elenco come scrittore e fotografo freelance, non come giornalista). Ma l'elenco delle pubblicazioni è sostanzialmente inventato. Ho scritto per il New York Times , ma non per The Guardian , The Huffington Post o Popular Mechanics (scrivo regolarmente per Popular Science , quindi potrebbe essere da lì che viene).

GPT-4 interpreta bene la parte del fotografo e in realtà elenca alcune pubblicazioni per cui ho scritto, il che è impressionante, anche se non sono quelle di cui sarei più orgoglioso. È un ottimo esempio di come OpenAI sia stato in grado di aumentare la precisione di GPT-4 rispetto a GPT-3, anche se potrebbe non offrire sempre la risposta più corretta.

Ma torniamo a GPT-3 poiché il suo errore fornisce un esempio interessante di cosa sta succedendo dietro le quinte in ChatGPT. In realtà non sa niente di me. Non è nemmeno copiare/incollare da Internet e fidarsi della fonte delle informazioni. Invece, sta semplicemente prevedendo una stringa di parole che verrà dopo in base ai miliardi di punti dati che ha.

Ad esempio: il New York Times è raggruppato molto più spesso con The Guardian e The Huffington Post che con i posti per cui ho scritto, come Wired , Outside , The Irish Times e, ovviamente, Zapier. Quindi, quando deve capire cosa dovrebbe seguire il New York Times , non attinge dalle informazioni pubblicate su di me; estrae quell'elenco di pubblicazioni di grandi dimensioni da tutti i dati di formazione che ha. È molto intelligente e sembra plausibile, ma non è vero.

GPT-4 fa un lavoro molto migliore e inchioda le pubblicazioni, ma il resto di ciò che dice sembra davvero solo plausibile frase successiva. Non credo che abbia un grande apprezzamento per la mia reputazione: sta solo dicendo il genere di cose che dice una biografia. È molto meglio nascondere come funziona rispetto a GPT-3, anche se in realtà utilizza più o meno la stessa tecnica.

Tuttavia, è davvero impressionante quanto GPT sia già migliorato. Per ora, GPT-4 è bloccato dietro un abbonamento premium, quindi la maggior parte dei contenuti ChatGPT che vedi si baserà su GPT-3, ma ciò potrebbe cambiare nel prossimo periodo. Chissà cosa porterà GPT-5.

Cos'è l'API ChatGPT?

OpenAI non ha un atteggiamento da soli con la sua tecnologia. L'azienda ha una piattaforma API che consente agli sviluppatori di integrare la potenza di ChatGPT nelle proprie app e servizi (a un prezzo, ovviamente).

Zapier utilizza l'API ChatGPT per potenziare la propria integrazione ChatGPT, che ti consente di connettere ChatGPT a migliaia di altre app e aggiungere AI ai tuoi flussi di lavoro critici per l'azienda. Ecco alcuni esempi per iniziare, ma puoi attivare ChatGPT praticamente da qualsiasi app.

Puoi anche utilizzare gli altri modelli di OpenAI, come DALL·E e Whisper, con l'integrazione OpenAI di Zapier. Automatizza i flussi di lavoro che coinvolgono la generazione di immagini e la trascrizione audio, direttamente dalle app che stai già utilizzando.

Lettura correlata: come puoi (e quando non dovresti) utilizzare ChatGPT per scrivere testi di marketing