Nieuwe Open Source ChatGPT Clone – Genaamd Dolly

Open Source GPT Chat zette weer een stap voorwaarts met de release van het Dolly Large Language Model (DLL) gemaakt door het softwarebedrijf Databricks.

De nieuwe ChatGPT-kloon heet Dolly, vernoemd naar het beroemde schaap met die naam, het eerste zoogdier dat gekloond is.

Open Source Grote Taalmodellen

De Dolly LLM is de nieuwste manifestatie van de groeiende open source AI-beweging die streeft naar een grotere toegang tot de technologie, zodat deze niet gemonopoliseerd en gecontroleerd wordt door grote bedrijven.

Een van de zorgen die de open-source AI-beweging stuwt, is dat bedrijven mogelijk terughoudend zijn om gevoelige gegevens over te dragen aan een derde partij die de AI-technologie controleert.

Gebaseerd op Open Source

Dolly is gemaakt van een open source model dat is ontwikkeld door het non-profit onderzoeksinstituut EleutherAI en het Alpaca-model van de Stanford University, dat zelf is gemaakt op basis van het open source LLaMA-model met 65 miljard parameters, ontwikkeld door Meta.

LLaMA, wat staat voor Groot Taalmodel Meta AI, is een taalmodel dat getraind is op publiekelijk beschikbare data.

Volgens een artikel van Weights & Biases presteert LLaMA beter dan veel van de top taalmodellen (OpenAI GPT-3, Gopher van DeepMind en Chinchilla van DeepMind), ondanks dat het kleiner is.

Een betere dataset creëren

Een andere inspiratie kwam van een wetenschappelijk onderzoeksartikel (SELF-INSTRUCT: Het in lijn brengen van het taalmodel met zelf gegenereerde instructies PDF) dat een manier uiteenzette om hoogwaardige automatisch gegenereerde trainingsgegevens voor vraag en antwoord te creëren die beter zijn dan de beperkte openbare gegevens.

Het onderzoekspaper van Self-Instruct legt uit:

“...we selecteren zorgvuldig een set met door experts geschreven instructies voor nieuwe taken, en laten zien dat het afstemmen van GPT3 met SELF-INSTRUCT aanzienlijk beter presteert dan het gebruik van bestaande openbare instructiedatasets, met slechts een absolute achterstand van 5% ten opzichte van InstructGPT…

...Door onze methode toe te passen op de originele GPT3, laten we een absolute verbetering van 33% zien op SUPERNATURALINSTRUCTIES, vergelijkbaar met de prestaties van InstructGPT… die getraind is met privégebruikersgegevens en menselijke annotaties.”

De belangrijkheid van Dolly is dat het aantoont dat een nuttig groot taalmodel kan worden gecreëerd met een kleiner, maar kwalitatief hoogstaand dataset.

Databricks observeert:

“Dolly werkt door een bestaand open source model met 6 miljard parameters van EleutherAI te nemen en het op subtiele wijze aan te passen om instructieopvolgingsmogelijkheden zoals brainstormen en tekstgeneratie op te wekken die niet aanwezig zijn in het oorspronkelijke model, gebruikmakend van data van Alpaca.

...We laten zien dat iedereen een verouderd kant-en-klaar open source groot taalmodel (LLM) kan nemen en het een magische ChatGPT-achtige instructiegeefvaardigheid kan geven door het in 30 minuten op één machine te trainen, met behulp van hoogwaardige trainingsgegevens.

Opvallend genoeg lijkt het volgen van instructies niet de nieuwste of grootste modellen te vereisen: ons model heeft slechts 6 miljard parameters, in tegenstelling tot 175 miljard voor GPT-3."

Databricks Open Source AI

Dolly wordt gezegd om AI te democratiseren. Het maakt deel uit van een groeiende beweging die recentelijk is toegetreden door de non-profitorganisatie Mozilla met de oprichting van Mozilla.ai. Mozilla is de uitgever van de Firefox-browser en andere open source-software.