Nuovo clone di ChatGPT open source - chiamato Dolly

Open Source GPT Chat ha compiuto un altro passo avanti con il rilascio del Dolly Large Language Model (DLL) creato dalla società di software enterprise Databricks.

Il nuovo clone di ChatGPT si chiama Dolly, così chiamato in onore della famosa pecora omonima, il primo mammifero ad essere clonato.

Modelli di linguaggio open source di grandi dimensioni

Il Dolly LLM è l'ultima manifestazione del crescente movimento open source AI che cerca di offrire maggior accesso alla tecnologia in modo che non sia monopolizzata e controllata da grandi aziende.

Una delle preoccupazioni che motivano il movimento per l'intelligenza artificiale open source è che le aziende potrebbero essere riluttanti a consegnare dati sensibili a un terzo che controlla la tecnologia di intelligenza artificiale.

Basato su Open Source

Dolly è stata creata a partire da un modello open source creato dall'istituto di ricerca non-profit EleutherAI e dal modello Alpaca dell'Università di Stanford, che a sua volta è stato creato a partire dal modello LLaMA open source con 65 miliardi di parametri creato da Meta.

LLaMA, che sta per Large Language Model Meta AI, è un modello di linguaggio che viene addestrato su dati disponibili pubblicamente.

Secondo un articolo di Weights & Biases, LLaMA può superare molti dei migliori modelli di linguaggio (OpenAI GPT-3, Gopher di Deep Mind e Chinchilla di DeepMind) nonostante sia più piccolo.

Creazione di un Miglior Dataset

Un'altra fonte di ispirazione è arrivata da un articolo di ricerca accademica (SELF-INSTRUCT: Allineare il modello di linguaggio con le istruzioni autogenerate PDF) che ha delineato un modo per creare un set di dati di addestramento di domande e risposte autogenerate di alta qualità, migliore dei dati pubblici limitati.

La ricerca Self-Instruct spiega:

"...curiamo un insieme di istruzioni scritte da esperti per compiti nuovi e dimostriamo attraverso una valutazione umana che ottimizzare GPT3 con SELF-INSTRUCT supera di gran lunga l'utilizzo di set di istruzioni pubbliche esistenti, lasciando solo un divario assoluto del 5% rispetto a InstructGPT...

...Applicando il nostro metodo a GPT3 di base, dimostriamo un miglioramento assoluto del 33% rispetto al modello originale su SUPERNATURALINSTRUCTIONS, in linea con le prestazioni di InstructGPT... che è addestrato con dati privati degli utenti e annotazioni umane."

L'importanza di Dolly è che dimostra che è possibile creare un modello di linguaggio esteso utile con un dataset più piccolo ma di alta qualità.

Databricks osserva:

"Dolly lavora prendendo un modello open source di 6 miliardi di parametri da EleutherAI e modificandolo lievemente per ottenere capacità di seguire istruzioni come il brainstorming e la generazione di testo non presenti nel modello originale, utilizzando dati da Alpaca."

...Dimostriamo che chiunque può prendere un modello di linguaggio (LLM) open source prefabbricato e dargli la capacità magica di seguire le istruzioni come ChatGPT, addestrandolo in 30 minuti su una singola macchina, utilizzando dati di addestramento di alta qualità.

Sorprendentemente, seguire le istruzioni non sembra richiedere i modelli più recenti o più grandi: il nostro modello ha solo 6 miliardi di parametri, rispetto ai 175 miliardi di GPT-3."

Databricks Open Source AI

Dolly si dice che democratizzi l'IA. Fa parte di un movimento in crescita a cui si è recentemente unita l'organizzazione non profit Mozilla con la fondazione di Mozilla.ai. Mozilla è l'editore del browser Firefox e di altri software open source.