Sette modelli GPT open source gratuiti rilasciati

L'azienda di intelligenza artificiale Cerebras della Silicon Valley ha rilasciato sette modelli open source GPT per fornire un'alternativa ai sistemi strettamente controllati e proprietari disponibili oggi.

I modelli GPT royalty free e open source, compresi i pesi e le istruzioni di addestramento, sono stati rilasciati con la licenza Apache 2.0, altamente permissiva, da Cerebras, un'azienda con sede nella Silicon Valley specializzata in infrastrutture per applicazioni di intelligenza artificiale.

Fino a un certo punto, i sette modelli GPT sono una prova di concetto per il supercomputer AI Cerebras Andromeda.

L'infrastruttura di Cerebras consente ai loro clienti, come Jasper AI Copywriter, di addestrare rapidamente i propri modelli linguistici personalizzati.

Un post del blog Cerebras sulla tecnologia hardware ha notato:

"Abbiamo addestrato tutti i modelli Cerebras-GPT su un cluster Cerebras Wafer-Scale CS-2 16x chiamato Andromeda."

Il cluster ha permesso di completare rapidamente tutti gli esperimenti, senza la tradizionale ingegnerizzazione di sistemi distribuiti e l'ottimizzazione del parallelo del modello necessarie nei cluster GPU.

Inoltre, ha consentito ai nostri ricercatori di concentrarsi sulla progettazione del ML anziché sul sistema distribuito. Crediamo che la capacità di addestrare facilmente modelli di grandi dimensioni sia un fattore chiave per l'intera comunità, ecco perché abbiamo reso disponibile il Cerebras Wafer-Scale Cluster nel cloud tramite il Cerebras AI Model Studio."

Modelli Cerebras GPT e Trasparenza

Cerebras cita la concentrazione della proprietà della tecnologia AI solo a poche aziende come motivo per creare sette modelli GPT open source.

OpenAI, Meta e Deepmind mantengono riservate e strettamente controllate una grande quantità di informazioni sui loro sistemi, il che limita l'innovazione a ciò che le tre società decidono che gli altri possano fare con i loro dati.

Un sistema closed-source è migliore per l'innovazione nell'ambito dell'AI? O è l'open source il futuro?

Cerebras scrive:

"Per consentire agli LLM di essere una tecnologia aperta e accessibile, riteniamo importante avere accesso a modelli all'avanguardia che siano aperti, riproducibili e gratuiti sia per la ricerca che per le applicazioni commerciali.

A tal fine, abbiamo addestrato una famiglia di modelli transformer utilizzando le tecniche più recenti e i dataset aperti che chiamiamo Cerebras-GPT.

Questi modelli sono la prima famiglia di modelli GPT addestrati utilizzando la formula Chinchilla e rilasciati con licenza Apache 2.0."

Quindi questi sette modelli sono stati pubblicati su Hugging Face e GitHub per incoraggiare ulteriori ricerche attraverso l'accesso aperto alla tecnologia dell'IA.

Questi modelli sono stati addestrati con il supercomputer AI Andromeda di Cerebras, un processo che ha richiesto solo settimane per essere completato.

Cerebras-GPT è completamente aperto e trasparente, a differenza degli ultimi modelli GPT di OpenAI (GPT-4), Deepmind e Meta OPT.

OpenAI e Deepmind Chinchilla non offrono licenze per l'utilizzo dei modelli. Meta OPT offre solo una licenza non commerciale.

Il GPT-4 di OpenAI non ha assolutamente alcuna trasparenza riguardo ai loro dati di addestramento. Hanno utilizzato i dati di Common Crawl? Hanno effettuato lo scraping di Internet e creato il proprio dataset?

OpenAI sta mantenendo queste informazioni (e altre) segrete, il che è in contrasto con l'approccio di Cerebras-GPT che è completamente trasparente.

Il seguente è completamente aperto e trasparente:

• Architettura del modello
• Dati di addestramento
• Pesi del modello
• Checkpoint
• Stato di addestramento ottimizzato per il calcolo (sì)
• Licenza per l'uso: Licenza Apache 2.0

Le sette versioni sono disponibili nei modelli da 111M, 256M, 590M, 1.3B, 2.7B, 6.7B e 13B.

È stato annunciato:

"Per la prima volta tra le aziende di hardware AI, i ricercatori di Cerebras hanno addestrato, sull'Andromeda AI supercomputer, una serie di sette modelli GPT con 111M, 256M, 590M, 1.3B, 2.7B, 6.7B e 13B di parametri."

Di solito, un lavoro del genere richiede diversi mesi, ma grazie alla velocità incredibile dei sistemi Cerebras CS-2 che compongono Andromeda e alla capacità dell'architettura di streaming dei pesi di Cerebras di eliminare i problemi delle elaborazioni distribuite, questo lavoro è stato completato in poche settimane.

Questi risultati dimostrano che i sistemi di Cerebras sono in grado di addestrare i carichi di lavoro AI più grandi e complessi oggi esistenti.

Questa è la prima volta che una serie di modelli GPT, addestrati utilizzando tecniche di efficienza all'avanguardia, viene resa pubblica.

Questi modelli vengono addestrati per garantire la massima precisione in base al budget di elaborazione (cioè addestramento efficiente utilizzando la ricetta Chinchilla), per cui hanno un tempo di addestramento inferiore, un costo di addestramento inferiore e consumano meno energia rispetto ai modelli pubblici esistenti."

Intelligenza Artificiale Open Source

La fondazione Mozilla, produttori del software open source Firefox, ha creato un'azienda chiamata Mozilla.ai per sviluppare sistemi open source GPT e sistemi di raccomandazione che siano affidabili e rispettino la privacy.

Databricks ha recentemente rilasciato un'implementazione open source chiamata Dolly del GPT Clone che mira a democratizzare "la magia di ChatGPT".

Oltre a quei sette modelli di Cerebras GPT, un'altra azienda, chiamata Nomic AI, ha rilasciato GPT4All, un GPT open source che può essere eseguito su un laptop.

Il movimento open source di intelligenza artificiale è ancora in fase embrionale ma sta guadagnando slancio.

La tecnologia GPT sta dando vita a cambiamenti massicci in diversi settori ed è possibile, forse inevitabile, che i contributi open source possano cambiare il volto delle industrie che guidano questo cambiamento.

Se il movimento open source continua ad avanzare a questo ritmo, potremmo essere sull'orlo di assistere a un cambiamento nell'innovazione dell'intelligenza artificiale che ne impedisce la concentrazione nelle mani di poche aziende.

Leggi l'annuncio ufficiale:

Cerebras Systems rilascia sette nuovi modelli GPT addestrati su CS-2 Wafer-Scale Systems