Zeven gratis open-source GPT-modellen vrijgegeven

AI-bedrijf Cerebras uit Silicon Valley heeft zeven open source GPT-modellen uitgebracht als alternatief voor de strikt gecontroleerde en eigendomsmodellen die vandaag de dag beschikbaar zijn.

De royaltyvrije open source GPT-modellen, inclusief de gewichten en trainingsrecepten, zijn vrijgegeven onder de zeer liberale Apache 2.0-licentie door Cerebras, een AI-infrastructuur voor AI-toepassingen gevestigd in Silicon Valley.

Tot op zekere hoogte zijn de zeven GPT-modellen een bewijs van concept voor de Cerebras Andromeda AI-supercomputer.

Het Cerebras-infrastructuur stelt hun klanten, zoals Jasper AI Copywriter, in staat om snel hun eigen op maat gemaakte taalmodellen te trainen.

Een blogpost van Cerebras over de hardwaretechnologie merkte op:

"We hebben alle Cerebras-GPT-modellen getraind op een 16x CS-2 Cerebras Wafer-Scale Cluster genaamd Andromeda.

Het cluster maakte het mogelijk om alle experimenten snel af te ronden, zonder de traditionele gedistribueerde systeemtechniek en het afstemmen van model parallelle processen die nodig zijn op GPU-clusters.

Het belangrijkste is dat het onze onderzoekers in staat stelde zich te richten op het ontwerp van de ML in plaats van het gedistribueerde systeem. We geloven dat het vermogen om eenvoudig grote modellen te trainen een belangrijke stimulans is voor de brede gemeenschap, daarom hebben we de Cerebras Wafer-Scale Cluster beschikbaar gemaakt op de cloud via de Cerebras AI Model Studio."

Cerebras GPT-modellen en Transparantie

Cerebras noemt de concentratie van eigendom van AI-technologie bij slechts een paar bedrijven als reden voor het creëren van zeven open source GPT-modellen.

OpenAI, Meta en Deepmind houden een grote hoeveelheid informatie over hun systemen privé en strak gecontroleerd, wat de innovatie beperkt tot wat de drie bedrijven beslissen dat anderen kunnen doen met hun gegevens.

Is een gesloten-bron systeem het beste voor innovatie in AI? Of is open source de toekomst?

Cerebras schrijft:

"Om ervoor te zorgen dat LLM's een open en toegankelijke technologie zijn, vinden we het belangrijk om toegang te hebben tot state-of-the-art modellen die open, reproduceerbaar en royaltyvrij zijn voor zowel onderzoek als commerciële toepassingen.

Met dat doel hebben we een reeks transformer-modellen getraind met behulp van de nieuwste technieken en open datasets die we Cerebras-GPT noemen.

Deze modellen zijn de eerste reeks GPT-modellen die zijn getraind met behulp van de Chinchilla-formule en zijn vrijgegeven onder de Apache 2.0-licentie."

Daarom worden deze zeven modellen vrijgegeven op Hugging Face en GitHub om meer onderzoek te stimuleren door open toegang tot AI-technologie.

Deze modellen zijn getraind met de Andromeda AI-supercomputer van Cerebras, een proces dat slechts enkele weken in beslag nam.

Cerebras-GPT is volledig open en transparant, in tegenstelling tot de nieuwste GPT-modellen van OpenAI (GPT-4), Deepmind en Meta OPT.

OpenAI en Deepmind Chinchilla bieden geen licenties aan om de modellen te gebruiken. Meta OPT biedt alleen een niet-commerciële licentie aan.

OpenAI's GPT-4 heeft absoluut geen transparantie over hun trainingsdata. Hebben ze Common Crawl-gegevens gebruikt? Hebben ze het internet afgeschraapt en hun eigen dataset gemaakt?

OpenAI houdt deze informatie (en meer) geheim, wat in contrast staat met de Cerebras-GPT benadering die volledig transparant is.

Hieronder staat alles open en transparant:

• Model architectuur
• Trainingsgegevens
• Modelgewichten
• Controlepunten
• Trainingstatus geoptimaliseerd voor berekening (ja)
• Gebruikslicentie: Apache 2.0-licentie

De zeven versies zijn verkrijgbaar in modellen met respectievelijk 111M, 256M, 590M, 1.3B, 2.7B, 6.7B en 13B.

ER werd aangekondigd:

“Als eerste binnen de AI hardware bedrijven hebben de onderzoekers van Cerebras, met behulp van de Andromeda AI-supercomputer, een reeks van zeven GPT-modellen getraind met 111M, 256M, 590M, 1.3B, 2.7B, 6.7B en 13B parameters.

Normaal gesproken kost dit maanden, maar dankzij de ongelooflijke snelheid van de Cerebras CS-2 systemen die deel uitmaken van Andromeda, en de mogelijkheid van Cerebras' gewichtsstreaming-architectuur om de pijn van gedistribueerd rekenwerk te elimineren, is dit werk in enkele weken voltooid.

Deze resultaten tonen aan dat de systemen van Cerebras vandaag de dag de grootste en meest complexe AI-workloads kunnen trainen.

Dit is de eerste keer dat een reeks GPT-modellen, getraind met behulp van state-of-the-art trainingsmethoden voor efficiëntie, openbaar is gemaakt.

Deze modellen zijn getraind op de hoogst mogelijke nauwkeurigheid binnen een gegeven rekenbudget (d.w.z. trainingsefficiënt gebruikmakend van de Chinchilla-methode), waardoor ze een kortere trainingsduur hebben, minder training kosten en minder energie verbruiken dan bestaande openbare modellen.”

Open Source AI

De Mozilla foundation, makers van open source software Firefox, hebben een bedrijf genaamd Mozilla.ai opgericht om vertrouwenwekkende en privacyrespecterende open source GPT- en aanbevelingssystemen te bouwen.

Databricks heeft ook recentelijk een open source GPT kloon genaamd Dolly uitgebracht, die tot doel heeft "de magie van ChatGPT" te democratiseren.

Naast die zeven Cerebras GPT-modellen heeft een ander bedrijf, genaamd Nomic AI, GPT4All uitgebracht, een open source GPT die op een laptop kan worden uitgevoerd.

De open source AI-beweging bevindt zich nog in een beginfase, maar wint aan momentum.

GPT-technologie zorgt voor enorme veranderingen in verschillende sectoren en het is mogelijk, misschien zelfs onvermijdelijk, dat open-sourcebijdragen het gezicht van de sectoren die deze veranderingen aansturen, zullen veranderen.

Als de open source beweging in dit tempo blijft groeien, kunnen we mogelijk getuige zijn van een verschuiving in AI-innovatie waardoor het niet meer alleen in handen van een paar bedrijven blijft.

Lees de officiële bekendmaking:

Cerebras Systems brengt zeven nieuwe GPT-modellen uit, getraind op CS-2 waferschaal-systemen.