ChatGPT heeft een MBA-examen afgelegd. Hier is hoe het werkte

Een professor aan Wharton, University of Pennsylvania heeft een theoretisch B-cijfer gegeven aan ChatGPT na het markeren van de antwoorden die het opleverde voor een eindexamen in een typische MBA-cursus.

Christian Terwiesch, hoogleraar operations management bij Wharton, zei dat ChatGPT "geweldig werk levert bij fundamentele vragen over operations management en procesanalyse".

"Niet alleen zijn de antwoorden correct, maar de uitleg is uitstekend", schrijft hij in een nieuwe whitepaper.

Ook: Aan de slag met ChatGPT

Maar hij voegde eraan toe dat de chatbot "verrassende fouten maakt in relatief eenvoudige berekeningen op het niveau van de zesde klas wiskunde", en dat hij momenteel geen meer geavanceerde procesanalysevragen aankan. Aan de andere kant kan de huidige versie van ChatGPT zijn antwoorden aanpassen als reactie op menselijke hints om tot de juiste oplossing te komen.

"Gezien deze prestatie zou Chat GPT3 een B tot B-cijfer hebben gekregen op het examen", schrijft Terwiesch.

Verschillende vragen van Terwiesch waren bedoeld om te testen of ChatGPT een knelpunt kon identificeren in een verwerkingsoperatie met meerdere machines met verschillende doorvoercapaciteiten.

ChatGPT maakte echter "een significante fout van enorme omvang" bij het rekenen met rekenkunde op middelhoog niveau.

Interessant is dat ChatGPT in eerste instantie een van de vragen van Terwiesch met betrekking tot wachtrij-analyse onjuist beantwoordde. Hij vroeg het met een hint voor een beter antwoord en ChatGPT verbeterde het antwoord. De volgende dag stelde de professor hem dezelfde eerste wachtrijvraag zonder de hint -- en ChatGPT antwoordde correct bij de eerste poging.

"Het is in staat om te leren van feedback uit het verleden of ik heb gewoon geluk gehad", merkt hij op, eraan toevoegend dat er enige willekeur leek te zitten in de kwaliteit van de antwoorden.

Terwiesch ontdekte ook dat ChatGPT slimme en humoristische vragen kon formuleren die hij bij toekomstige examens kon gebruiken. De chatbot introduceerde echter ook subtiele tekortkomingen in sommige vragen waardoor ze onmogelijk te beantwoorden waren.

Ook: ChatGPT 'ontbrak diepte en inzicht', zeggen redacteuren van prestigieuze wetenschappelijke tijdschriften

Terwiesch waarschuwt anderen om rekening te houden met de mogelijkheden en beperkingen van ChatGPT. Hij zegt dat hij "verliefd werd" op ChatGPT na het lezen van het antwoord op zijn eerste vraag, maar waarschuwt dat het "grote fouten heeft gemaakt in een aantal vrij eenvoudige situaties".

"We zijn nog ver verwijderd van een A+ voor complexe problemen en we hebben nog steeds een mens op de hoogte nodig", schrijft hij.

"Volgens mij moet een basisschoolleerling nog steeds leren dat 7 x 7 = 49 en dat de hoofdstad van Pennsylvania Harrisburg is, ook al worden rekenmachines al meer dan 50 jaar veel gebruikt en kunnen leerlingen Google Wikipedia gebruiken om antwoorden te vinden. voor de meeste feitelijke vragen. Het is de aard van basisvaardigheden dat ze nodig zijn om meer geavanceerde onderwerpen te begrijpen.'

Terwiesch is het ermee eens dat docenten zich zorgen moeten maken dat K-12-studenten ChatGPT zouden kunnen gebruiken om te spieken bij opdrachten en examens. Het New York City Department of Education heeft bijvoorbeeld onlangs de chatbot verboden omdat betrouwbare tests belangrijk zijn bij het lesgeven, terwijl vaardigheidscertificering niet in het gedrang mag komen vanwege nieuwe technologie. Een student die ChatGPT gebruikt, is alsof hij een vriend met "gemiddelde academische competentie" kan bellen om het examen voor hem af te leggen, merkt hij op.

Maar hij beweert ook dat ChatGPT en vergelijkbare technologieën de rol van een "slimme consultant" kunnen spelen - iemand die elegante maar vaak foute antwoorden geeft, wat volgens hem de "perfecte oefenplaats" is voor het ontwikkelen van vaardigheden onder MBA-studenten die dat nodig hebben. voorgestelde alternatieven kritisch te evalueren.