Kan ChatGPT slagen voor het Bar Exam?

ChatGPT en het Bar Exam

De beroepsexamen is een strenge test die kennis en redeneervermogen beoordeelt door middel van essays, prestatietests en meerkeuzevragen. Het is een gestandaardiseerde test die door veel Amerikaanse rechtsgebieden wordt gebruikt als onderdeel van hun toelatingsproces voor de balie. Het bestaat uit drie onderdelen die de kennis van een kandidaat van gemeenschappelijke rechtsbeginselen beoordelen, het vermogen om juridische principes toe te passen op specifieke feitenpatronen, en het vermogen om juridische taken af te ronden.

Deze examen is ontworpen om advocaten in staat te stellen om in meerdere staten een vergunning te krijgen zonder voor elke staat opnieuw het bar examen te hoeven afleggen. De slaagscore wordt vastgesteld door elke jurisdictie en examenresultaten kunnen worden overgedragen naar de jurisdicties van andere staten, onderworpen aan de regels en eisen van elke jurisdictie.

GPT-3.5 en GPT-4, de grote taalmodellen van OpenAI waarop ChatGPT is gebouwd, hebben de mogelijkheid om moeilijke taken uit te voeren die uitgebreide juridische kennis, leesvaardigheid en schrijfvaardigheid vereisen. Ze kunnen zelfs voldoen aan de normen van menselijke advocaten in bijna alle Amerikaanse rechtsgebieden. De National Conference of Bar Examiners, dat het meerkeuzegedeelte heeft gemaakt, heeft opgemerkt dat advocaten unieke vaardigheden bezitten die worden verworven via onderwijs en praktijk, waar kunstmatige intelligentie momenteel niet aan kan tippen.

Hoe heeft ChatGPT gepresteerd op het Bar Exam?

Eerder dit jaar heeft onderzoek uitgevoerd door professoren van Illinois Tech en Michigan State College of Law aangetoond dat ChatGPT 3.5 een voldoende haalde in twee categorieën van het multistate bar examen (MBE) en vergelijkbaar presteerde met menselijke deelnemers in een andere categorie, wat wijst op het algemene begrip van ChatGPT in het juridische domein. In een ander onderzoek, uitgevoerd door onderzoekers van OpenAI zelf, presteerde ChatGPT goed op het bar examen en scoorde in het 90e percentiel in dat onderzoek. Het beantwoordde bijna 76% van de meerkeuzevragen correct, een verbetering ten opzichte van ChatGPT's 50% en presteerde beter dan het gemiddelde menselijke deelnemer met meer dan 7%.

ChatGPT was in staat om essays en prestatietestreacties te genereren die grotendeels relevant en logisch verbonden waren. De drempel voor het behalen van het beroepsexamen verschilt van staat tot staat en in New York is een score van 266, ongeveer in het 50e percentiel, vereist om te slagen. De resultaten van ChatGPT suggereren dat de mogelijkheden van grote taalmodellen zich uitstrekken tot complexe taken die aanzienlijke juridische kennis, begrip en schrijfvaardigheid vereisen. Deze modellen voldoen aan de norm die van toepassing is op menselijke advocaten in bijna alle rechtsgebieden in de VS.

Heeft ChatGPT een toelatingsexamen behaald?

ChatGPT is geslaagd voor het Uniforme Bar Examen.

Wat is de top 1% score voor het advocaatsexamen?

300 is ongeveer het hoogste 90e percentiel, terwijl een score van 330 ongeveer bij de top 1% hoort.