Hoe werkt ChatGPT?

ChatGPT is een van de meest glanzende nieuwe AI-aangedreven tools, maar de algoritmen die op de achtergrond werken, voeden sinds 2020 een hele reeks apps en services. Dus om te begrijpen hoe ChatGPT werkt, moeten we beginnen met praten over de onderliggende taal motor die hem aandrijft.

De GPT in ChatGPT is meestal GPT-3, of de Generative Pre-trained Transformer 3, hoewel GPT-4 nu beschikbaar is voor ChatGPT Plus-abonnees en waarschijnlijk binnenkort meer verspreid zal worden. De GPT-modellen zijn ontwikkeld door OpenAI (het bedrijf achter ChatGPT en de beeldgenerator DALL·E 2), maar ze ondersteunen alles, van de AI-functies van Bing tot schrijftools zoals Jasper en Copy.ai. In feite gebruiken de meeste AI-tekstgenerators die op dit moment beschikbaar zijn GPT-3 en zullen ze waarschijnlijk GPT-4 aanbieden als een volgende stap.

ChatGPT bracht GPT-3 in de schijnwerpers omdat het het proces van interactie met een AI-tekstgenerator eenvoudig en vooral gratis voor iedereen maakte. Bovendien is het een chatbot en sinds SmarterChild houden mensen van een goede chatbot.

Hoewel GPT-3 en GPT-4 op dit moment de meest populaire Large Language Models (LLM's) zijn, zal er de komende jaren waarschijnlijk veel meer concurrentie zijn. Google heeft bijvoorbeeld Bard, zijn AI-chatbot, die wordt aangedreven door zijn eigen taalengine Pathways Language Model (PaLM 2). Maar voorlopig is het aanbod van OpenAI de de facto industriestandaard. Het is gewoon het gemakkelijkste hulpmiddel voor mensen om het in handen te krijgen.

Dus het antwoord op "hoe werkt ChatGPT?" is eigenlijk: GPT-3 en GPT-4. Maar laten we wat dieper graven.

Wat is ChatGPT?

ChatGPT is een app gebouwd door OpenAI. Met behulp van de GPT-taalmodellen kan het uw vragen beantwoorden, teksten schrijven, e-mails opstellen, een gesprek voeren, code in verschillende programmeertalen uitleggen, natuurlijke taal naar code vertalen en meer - of in ieder geval proberen - allemaal gebaseerd op de natuurlijke taal vraagt u het te voeden. Het is een chatbot, maar wel een heel, heel goede.

Hoewel het cool is om mee te spelen als je bijvoorbeeld een Shakespeariaans sonnet over je huisdier wilt schrijven of een paar ideeën wilt opdoen voor onderwerpregels voor sommige marketing-e-mails, is het ook goed voor OpenAI. Het is een manier om veel gegevens van echte gebruikers te krijgen en dient als een mooie demo voor de kracht van GPT, die anders een beetje vaag zou kunnen aanvoelen, tenzij je diep in machine learning zit.

Op dit moment biedt ChatGPT twee GPT-modellen aan. De standaard, GPT-3.5, is minder krachtig maar voor iedereen gratis beschikbaar. De meer geavanceerde GPT-4 is beperkt tot ChatGPT Plus-abonnees, en zelfs zij krijgen maar een beperkt aantal vragen per dag.

Een van de grote kenmerken van ChatGPT is dat het het gesprek dat u ermee voert, kan onthouden. Dit betekent dat het context kan halen uit wat je het eerder hebt gevraagd en dat vervolgens kan gebruiken om zijn gesprek met jou te informeren. Je kunt ook vragen om nabewerkingen en correcties, en het zal verwijzen naar wat je eerder had besproken. Het zorgt ervoor dat interactie met de AI aanvoelt als een echt heen en weer.

Als je er echt een idee van wilt krijgen, speel dan nu vijf minuten met ChatGPT (het is gratis!), en kom dan terug om te lezen hoe het werkt.

Hoe werkt ChatGPT?

Deze gigantische dataset werd gebruikt om een deep learning neuraal netwerk te vormen [ ... ] gemodelleerd naar het menselijk brein - waardoor ChatGPT patronen en relaties in de tekstgegevens kon leren [ ... ] om te voorspellen welke tekst in een bepaalde zin zou moeten komen .

ChatGPT werkt door te proberen uw prompt te begrijpen en vervolgens woordreeksen uit te spugen waarvan het voorspelt dat ze uw vraag het beste zullen beantwoorden, op basis van de gegevens waarop het is getraind.

Laten we het eens hebben over die opleiding. Het is een proces waarbij de ontluikende AI enkele basisregels krijgt, en vervolgens in situaties wordt geplaatst of heel veel gegevens krijgt om door te werken om zijn eigen algoritmen te ontwikkelen.

GPT-3 is getraind op ongeveer 500 miljard "tokens", waardoor de taalmodellen gemakkelijker betekenis kunnen toekennen en plausibele vervolgtekst kunnen voorspellen. Veel woorden worden toegewezen aan enkele tokens, hoewel langere of complexere woorden vaak worden opgesplitst in meerdere tokens. Gemiddeld zijn tokens ongeveer vier tekens lang. OpenAI is stil gebleven over de interne werking van GPT-4, maar we kunnen gerust aannemen dat het op vrijwel dezelfde dataset is getraind, aangezien het zelfs nog krachtiger is.

Alle tokens kwamen uit een enorme verzameling gegevens die door mensen waren geschreven. Dat omvat boeken, artikelen en andere documenten over alle verschillende onderwerpen, stijlen en genres - en een ongelooflijke hoeveelheid inhoud die van het open internet is geschraapt. Kortom, het mocht de som van menselijke kennis doorbreken.

Deze gigantische dataset werd gebruikt om een deep learning neuraal netwerk te vormen – een complex, veelgelaagd, gewogen algoritme gemodelleerd naar het menselijk brein – waardoor ChatGPT patronen en relaties in de tekstgegevens kon leren en gebruik kon maken van de mogelijkheid om mensachtige reacties door te voorspellen welke tekst er in een bepaalde zin moet komen.

Maar echt, dat ondermijnt dingen enorm. ChatGPT werkt niet op zinsniveau, maar genereert tekst van woorden, zinnen en zelfs alinea's of coupletten. Het is niet de voorspellende tekst op je telefoon die botweg het volgende woord raadt; het probeert volledig coherente reacties op elke prompt te creëren.

Om het vermogen van ChatGPT om te reageren op verschillende prompts verder te verfijnen, is het geoptimaliseerd voor dialoog met een techniek genaamd 'Reinforcement Learning with Human Feedback' (RLHF). In wezen creëerden mensen een beloningsmodel met vergelijkingsgegevens (waarbij twee of meer modelreacties werden gerangschikt door AI-trainers), zodat de AI kon leren wat de beste reactie was.

Terug naar het neurale netwerk dat het heeft gevormd. Op basis van al die training heeft het neurale netwerk van GPT-3 175 miljard parameters of variabelen die het mogelijk maken om input te ontvangen - jouw prompt - en vervolgens, op basis van de waarden en wegingen die het aan de verschillende parameters geeft (en een kleine hoeveelheid willekeur). ), voert uit wat volgens hem het beste overeenkomt met uw verzoek. OpenAI heeft niet gezegd hoeveel parameters GPT-4 heeft, maar het is een veilige gok dat het meer dan 175 miljard is en minder dan de ooit geruchten 100 biljoen parameters. Ongeacht het exacte aantal, meer parameters betekent niet automatisch beter. Een deel van de toegenomen kracht van GPT-4 komt waarschijnlijk door meer parameters dan GPT-3, maar veel is waarschijnlijk te danken aan verbeteringen in de manier waarop het is getraind.

Uiteindelijk is de eenvoudigste manier om het voor te stellen als een van die 'maak de zin af'-spellen die je als kind speelde.

Uiteindelijk is de eenvoudigste manier om het voor te stellen als een van die 'maak de zin af'-spellen die je als kind speelde. Toen ik ChatGPT bijvoorbeeld met behulp van GPT-3 de prompt "Zapier is ..." gaf, antwoordde het door te zeggen:

"Zapier is een webgebaseerde automatiseringstool waarmee gebruikers verschillende webapplicaties met elkaar kunnen verbinden om repetitieve taken te automatiseren en workflows te verbeteren."

Dat is het soort zin dat je in honderden artikelen kunt vinden die beschrijven wat Zapier doet, dus het is logisch dat het het soort ding is dat het hier uitspuugt. Maar toen mijn redacteur het dezelfde prompt gaf, zei het:

"Zapier is een webgebaseerde automatiseringstool waarmee gebruikers verschillende webapplicaties kunnen verbinden en de onderlinge workflows kunnen automatiseren."

Dat is vrij gelijkaardig, maar het is niet precies hetzelfde antwoord. Die willekeur (die je in sommige GPT-3-apps kunt regelen met een instelling die "temperatuur" wordt genoemd) zorgt ervoor dat ChatGPT niet zomaar op elk antwoord reageert met wat neerkomt op een standaardantwoord. Het laat elke prompt elke keer door het hele neurale netwerk lopen en gooit hier en daar een paar dobbelstenen om de zaken fris te houden. Het is niet waarschijnlijk dat je gaat beweren dat Zapier een kleur van Mars is, maar het zal de volgende woorden door elkaar halen op basis van hun relatieve waarschijnlijkheid.

(Voor wat het waard is, als ChatGPT op GPT-4 draait, zei hij: " Zapier is een webgebaseerde automatiseringstool waarmee gebruikers taken tussen verschillende online applicaties en services kunnen integreren en automatiseren." Vrijwel hetzelfde!)

Woorden uitspugen, geen kennis

De makers van ChatGPT zijn de eersten die zeggen dat het onjuiste (en mogelijk schadelijke) informatie kan opleveren, hoewel ze er hard aan werken om dit te verhelpen.

Hier is een tam voorbeeld. Toen ik ChatGPT met behulp van GPT-3 en GPT-4 vroeg om te antwoorden op "Harry Guinness is..." antwoordde GPT-3 eerst door te vragen welke Harry Guinness. Grote vraag - we zijn letterlijk met z'n tweeën! Dus ik zei: "Harry Guinness de schrijver" (dat ben ik). GPT-4 raadde meteen wie ik was, hoewel beide antwoorden fascinerend waren:

GPT-3: Harry Guinness is een freelance schrijver en journalist gevestigd in Ierland. Hij heeft voor verschillende publicaties geschreven, waaronder The New York Times, The Guardian, The Huffington Post en Popular Mechanics. Hij behandelt onderwerpen variërend van technologie en fotografie tot reizen en cultuur.

GPT-4: Harry Guinness is een Ierse schrijver, fotograaf en technologie-expert. Hij heeft geschreven voor verschillende publicaties, waaronder How-To Geek, Lifehacker en Tuts+. Zijn werk richt zich voornamelijk op technologie, tutorials en tips, maar ook op fotografie en beeldbewerking. Guinness heeft een reputatie opgebouwd voor het maken van gedetailleerde handleidingen die lezers helpen complexe onderwerpen te begrijpen of problemen op een eenvoudige manier op te lossen.

De eerste en laatste regels van GPT-3 zijn bijna woordelijk overgenomen van mijn verschillende websites en bio's van auteurs op internet (hoewel ik mezelf normaal gesproken als freelanceschrijver en fotograaf noem, niet als journalist). Maar de lijst met publicaties is in principe verzonnen. Ik heb geschreven voor The New York Times , maar niet voor The Guardian , The Huffington Post of Popular Mechanics (ik schrijf wel regelmatig voor Popular Science , dus daar komt dat misschien vandaan).

GPT-4 zorgt ervoor dat het fotograafgedeelte klopt en somt zelfs een aantal publicaties op waarvoor ik heb geschreven, wat indrukwekkend is, hoewel het niet de publicaties zijn waar ik het meest trots op zou zijn. Het is een goed voorbeeld van hoe OpenAI de nauwkeurigheid van GPT-4 ten opzichte van GPT-3 heeft kunnen vergroten, hoewel het misschien niet altijd het meest correcte antwoord biedt.

Maar laten we teruggaan naar GPT-3, aangezien de fout een interessant voorbeeld is van wat er achter de schermen gebeurt in ChatGPT. Het weet eigenlijk niets over mij. Het is niet eens kopiëren/plakken van internet en vertrouwen op de bron van de informatie. In plaats daarvan voorspelt het gewoon een reeks woorden die daarna zullen komen op basis van de miljarden datapunten die het heeft.

Bijvoorbeeld: The New York Times wordt veel vaker gegroepeerd met The Guardian en The Huffington Post dan met de plaatsen waarvoor ik heb geschreven, zoals Wired , Outside , The Irish Times en natuurlijk Zapier. Dus als het moet uitzoeken wat er moet volgen uit The New York Times , haalt het niet uit de gepubliceerde informatie over mij; het haalt die lijst met grote publicaties uit alle trainingsgegevens die het heeft. Het is heel slim en lijkt plausibel, maar het is niet waar.

GPT-4 doet het veel beter en nagelt de publicaties, maar de rest van wat het zegt, voelt eigenlijk gewoon als plausibele vervolgzinnen. Ik denk niet dat het veel waardering heeft voor mijn reputatie: het zegt gewoon wat een biografie zegt. Het is veel beter in het verbergen van hoe het werkt dan GPT-3, hoewel het in feite vrijwel dezelfde techniek gebruikt.

Toch is het zeer indrukwekkend hoeveel GPT al is verbeterd. Voorlopig zit GPT-4 vast achter een premium abonnement, dus de meeste ChatGPT-inhoud die u ziet, is afhankelijk van GPT-3, maar dat kan in de komende tijd veranderen. Wie weet wat GPT-5 gaat brengen.

Wat is de ChatGPT-API?

OpenAI heeft geen alleen-ons-houding met zijn technologie. Het bedrijf heeft een API-platform waarmee ontwikkelaars de kracht van ChatGPT kunnen integreren in hun eigen apps en services (uiteraard tegen betaling).

Zapier gebruikt de ChatGPT API om zijn eigen ChatGPT-integratie mogelijk te maken, waarmee je ChatGPT kunt verbinden met duizenden andere apps en AI kunt toevoegen aan je bedrijfskritische workflows. Hier zijn enkele voorbeelden om u op weg te helpen, maar u kunt ChatGPT vanuit vrijwel elke app activeren.

U kunt ook gebruikmaken van de andere modellen van OpenAI, zoals DALL·E en Whisper, met de OpenAI-integratie van Zapier. Automatiseer workflows die betrekking hebben op het genereren van afbeeldingen en audiotranscriptie, rechtstreeks vanuit de apps die u al gebruikt.

Gerelateerd lezen: Hoe u ChatGPT kunt (en wanneer u dat niet zou moeten doen) om marketingteksten te schrijven