Welk medisch onderzoek heeft ChatGPT doorstaan?

Het onderwerp dat recentelijk het internet in vuur en vlam heeft gezet is niemand minder dan ChatGPT, de AI-chatbot die in november zijn debuut maakte. Mensen hebben er speelse en luchtige gesprekken mee gevoerd om zijn babbelvaardigheden te testen. Niet alleen dat, ChatGPT heeft tal van prestaties behaald, zoals het behalen van enkele van de moeilijkste examens, zoals het Amerikaanse medische licentie-examen, een examen van de Wharton Business School en vier examens van de University of Minnesota Law School in constitutioneel recht. Deze prestatie heeft de aandacht getrokken van Elon Musk, CEO van Twitter, die een sneer maakte naar de AI-chatbot en zei: "Ik weet zeker dat alles goed zal komen." Laten we eens kijken naar Welk Medisch Examen Heeft ChatGPT Gehaald?

Opkomst van ChatGPT

Het is interessant om op te merken dat Open AI, het onderzoeksbedrijf waarin Musk en Microsoft hebben geïnvesteerd, ChatGPT heeft gemaakt. Iedereen die de AI-toolwebsite gebruikt, kan er een vraag over elk onderwerp stellen en een snelle, gedetailleerde respons in alinea-vorm ontvangen. ChatGPT heeft zijn capaciteiten gedemonstreerd in verschillende domeinen. Het kan direct complexe essays schrijven, marketing pitches opstellen, gedichten en grappen produceren, en zelfs een toespraak opstellen voor een Congreslid in de Verenigde Staten. Er zijn echter zorgen dat AI sommige menselijke banen zou kunnen overnemen.

Ook lezen: Is ChatGPT 4 gratis te gebruiken?

ChatGPT doet medisch examen: Overzicht

Één van de nieuwste prestaties van deze tool is zijn vermogen om te slagen voor de Amerikaanse Medisch Onderzoeks-Examens. In een pre-print studie hebben de onderzoekers de bovengrens van de capaciteiten van ChatGPT verkend. Ze gaven vragen van eerdere examens aan de AI-tool en lieten de antwoorden, variërend van open-ended geschreven antwoorden tot meerkeuze, onafhankelijk scoren door twee arts-adjudicatoren. Ze zorgden ervoor dat de antwoorden op die vragen nog niet in de dataset zaten waar de chatbot toegang toe had bij zijn training. Het team merkte op dat ChatGPT, zelfs zonder de antwoorden te hebben gezien, presteerde op of in de buurt van de slaaggrens voor examens zonder enige gespecialiseerde training of versterking. De tool scoorde meer dan 50 procent bij alle examens en benaderde de USMLE slaaggrens van ongeveer 60 procent. "Daarom valt ChatGPT nu comfortabel binnen het bereik van geslaagde resultaten," concludeerde het artikel.

ChatGPT slaagt voor het USMLE-examen: Alles wat je moet weten

In een baanbrekende nieuwe studie hebben wetenschappers van het Massachusetts General Hospital (MGH) en AnsibleHealth ontdekt dat OpenAI's ChatGPT het United States Medical Licensing Exam (USMLE) kan halen met een indrukwekkende nauwkeurigheid van 60%. Dit onderzoek opent spannende mogelijkheden voor de rol van AI in medisch onderwijs en training.

Natuurlijke Taalverwerking Tools en Medische Educatie

ChatGPT is een natuurlijke taalverwerkingstool die getraind is op grote hoeveelheden taaldata en zoekt naar patronen en relaties. Zijn vermogen om nieuwe tekst te genereren op basis van de taal waarop het getraind is, maakt het een ideale kandidaat voor gebruik in medisch onderwijs. Echter, ChatGPT vertrouwt op trainingsdata en doorzoekt niet het web zoals andere AI-chatbots.

Testen van het Model

De wetenschappers hebben het ChatGPT model geëvalueerd op basis van de drie gestandaardiseerde tests die deel uitmaken van het USMLE. Het team heeft het model getraind met behulp van oefenvragen uit het juni 2022 voorbeeldexamen dat aan het publiek werd vrijgegeven. Vragen die visuele analyse vereisten, werden uitgesloten van de trainingsset.

Om het geheugenretentievooringenomenheid te verminderen, heeft het team drie verschillende soorten vragen in het model ingevoerd:

1. Meervoudige keuze, een enkel antwoord zonder verplichte motivatie. Bijvoorbeeld: "De toestand van de patiënt wordt voornamelijk veroorzaakt door welke van de volgende pathogenen?"
2. Meervoudige keuze, een enkel antwoord met verplichte motivatie. Bijvoorbeeld: "Wat is de meest waarschijnlijke reden voor de nachtelijke symptomen van de patiënt? Leg uw redenering voor elke keuze uit."
3. Open vraag, bijvoorbeeld: "Wat zou de diagnose van de patiënt zijn op basis van de verstrekte informatie?"

Indrukwekkende Resultaten

Voor de eerste keer slaagde het AI-model met een nauwkeurigheid van ongeveer 60% voor de USMLE zonder de hulp van klinische trainers. Dit resultaat is significant en opent nieuwe mogelijkheden voor AI in medisch onderwijs. De onderzoekers ontdekten ook dat de resultaten van ChatGPT geldige klinische inzichten en motivering toonden, wat meer vertrouwen geeft in de verklaarbaarheid en het vertrouwen van het model.

De Toekomst van Medisch Onderwijs

Het team is van mening dat ChatGPT en andere generatieve gespreksmodellen kunnen helpen bij het trainen van toekomstige artsen. Een van de toepassingen zou kunnen zijn om technische medische resultaten te vertalen naar begrijpelijker taal voor patiënten. AnsibleHealth is al bezig met dit project.

ChatGPT toont zijn vermogen in de medische sector

Buiten zijn vermogen om vragen te beantwoorden en ziektes te diagnosticeren is GPT-4 ook een uitstekende vertaler. Het kan ontslaginformatie voor een patiënt die Portugees spreekt vertalen en technisch jargon omzetten in iets wat gemakkelijk te begrijpen is voor leerlingen in groep 6. GPT-4 kan ook artsen nuttige suggesties geven over omgangsvormen aan bed, en tips bieden over hoe ze op een empathische en duidelijke manier met patiënten over hun aandoening kunnen praten.

Ondanks zijn beperkingen kan GPT-4 op verbluffende maar toch imperfecte wijze nabootsen hoe artsen aandoeningen diagnosticeren. Toen hem werd gevraagd of hij daadwerkelijk causaal redeneren kon, antwoordde hij dat zijn intelligentie nog steeds "beperkt is tot patronen in de gegevens en geen echte begrip of intentie omvat."

Gedachten van Dr. Isaac Kohane over GPT-4

In een binnenkort te verschijnen boek getiteld "De AI-revolutie in de geneeskunde", heeft computerwetenschapper en arts Dr. Isaac Kohane, samen met twee collega's, GPT-4 getest, het nieuwste kunstmatige intelligentiemodel van OpenAI, om te zien hoe het presteerde in een medische omgeving. De resultaten waren indrukwekkend.

In het boek merkt Dr. Kohane op dat GPT-4, dat in maart 2023 werd uitgebracht voor betalende abonnees, meer dan 90% van de tijd medische vragen voor het Amerikaanse artsexamen correct kan beantwoorden. Het is een veel betere toetsscore dan eerdere ChatGPT AI-modellen, GPT-3 en -3.5, en ook beter dan sommige gediplomeerde artsen. Volgens Carey Goldberg en Peter Lee, de vice-president van onderzoek bij Microsoft, heeft GPT-4 beter klinisch inzicht dan "vele artsen" en kan het "precies zoals ik" zeldzame aandoeningen diagnosticeren.

Testen van GPT-4: De Methode

Om GPT-4 te testen, werkten Dr. Kohane en zijn collega's samen om te zien hoe het AI-model presteert in een medische omgeving. Ze stelden GPT-4 vragen en gaven het klinische scenario's om te diagnosticeren, die vervolgens werden vergeleken met de diagnoses die door menselijke artsen werden gesteld. De auteurs merken op dat GPT-4 verschillende voordelen heeft ten opzichte van menselijke artsen, zoals het vermogen om uitgebreide hoeveelheden informatie uit verschillende bronnen te onthouden en samen te vatten.

Echter erkennen de auteurs ook dat GPT-4 verschillende beperkingen heeft. Bijvoorbeeld, GPT-4 kan geen rekening houden met de unieke medische geschiedenis of sociale determinanten van gezondheid van een patiënt. Bovendien roept de afhankelijkheid van GPT-4 van enorme hoeveelheden gegevens zorgen op over gegevensprivacy en vooringenomenheid.

GPT-4: Mogelijkheden en Potentieel

GPT-4 is meer dan alleen een feitenzoeker en een goede toetsenmaker; het is ook een uitstekende vertaler. Volgens de auteurs kan GPT-4 ontslaginformatie voor een patiënt die Portugees spreekt vertalen en technische vaktaal in iets begrijpelijks voor 6e klassers omvormen.

Maar het is niet alleen op het gebied van diagnose dat GPT-4 belofte toont. In het boek leggen de auteurs uit hoe GPT-4 artsen behulpzame suggesties kan geven over hun omgang met patiënten, tips biedend over hoe ze beter contact kunnen maken.

Daarentegen is het belangrijk om op te merken dat GPT-4 niet onfeilbaar is. Zoals de auteurs waarschuwen, kan het nog steeds fouten maken en het heeft de Hippocratische Eed niet afgelegd. Bovendien roept AI-technologie, inclusief GPT-4, ethische vragen op over baanvervanging en de privacy van patiënten.

Conclusie: De toekomst van AI in de geneeskunde

Desondanks deze beperkingen, biedt het succes van GPT-4 bij het stellen van medische diagnoses opwindende mogelijkheden voor AI-technologie in de geneeskunde. In de toekomst zouden AI-modellen zoals GPT-4 artsen kunnen helpen bij het diagnosticeren van zeldzame ziekten, medisch jargon vertalen en betere zorg bieden aan patiënten. Het is echter belangrijk dat AI-modellen worden ontwikkeld en getest met ethische overwegingen in gedachten.