Kunnen AI-detectoren ons redden van ChatGPT? Ik heb 3 online tools geprobeerd om erachter te komen

Dit is het tweede artikel in wat een serie wordt die de problemen van door AI gegenereerde tekst onderzoekt.

In deze aflevering kijken mijn AI-buddy en ik naar de vraag of het mogelijk is om terug te vechten tegen door AI gegenereerd plagiaat, en hoe dat zou kunnen werken.

Ook: Wat is ChatGPT en waarom is het belangrijk? Dit is wat u moet weten

Maar voordat ik verder ga, moeten we het hebben over het concept plagiaat en hoe het verband houdt met dit probleem. Webster's definieert "plagiaat" als "stelen en doorgeven (de ideeën of woorden van een ander) als zijn eigen: gebruik (de productie van een ander) zonder de bron te vermelden."

Dit is geschikt voor door AI gemaakte inhoud. Hoewel iemand die een AI-tool zoals Notion AI of ChatGPT gebruikt, geen inhoud steelt, voldoet het nog steeds aan de woordenboekdefinitie van plagiaat als die persoon de woorden niet als afkomstig van een AI beschouwt en claimt dat ze van hemzelf zijn.

ZDNET beveelt aan

De beste AI-chatbots: ChatGPT en andere interessante alternatieven om te proberen

AI-chatbots en -schrijvers kunnen u helpen uw werklast te verlichten door e-mails en essays te schrijven en zelfs wiskunde te doen. Ze gebruiken kunstmatige intelligentie om tekst te genereren of vragen te beantwoorden op basis van gebruikersinvoer. ChatGPT is een populair voorbeeld, maar er zijn nog andere noemenswaardige chatbots.

Lees nu

In dit experimentele artikel heb ik ChatGPT om hulp gevraagd. Mijn woorden zijn in normale en vetgedrukte tekst. De woorden van de AI zijn cursief weergegeven. Ik zal ook drie online ChatGPT-plagiaatdetectoren gebruiken (die ik hieronder in meer detail zal beschrijven). Na elke door AI gegenereerde sectie laat ik de resultaten van de detectoren zien. Aan het einde van het artikel zullen we bekijken hoe goed de detectoren in het algemeen presteerden.

Hier is het resultaat voor de bovenstaande tekst, die ik zelf heb geschreven:

• GPT-2-uitgangsdetector: 99,98% echt
• Writer AI Content Detector: 100% door mensen gegenereerde inhoud. Fantastisch!
• Inhoud op schaal AI-inhoudsdetectie: 100% menselijke inhoudsscore. Ziet er geweldig uit!

Laten we daarmee aan de slag gaan.

Leg uit waarom ChatGPT een echt probleem kan zijn voor docenten en redacteuren als het om plagiaat gaat

ChatGPT is een variant van het door OpenAI ontwikkelde GPT-taalmodel (Generative Pre-trained Transformer). Het is ontworpen om mensachtige tekst te genereren door het volgende woord of de volgende zin in een bepaalde invoerreeks te voorspellen. Hoewel ChatGPT een handig hulpmiddel kan zijn voor het genereren van tekst en het reageren op prompts, kan het ook een probleem zijn voor docenten en redacteuren als het gaat om plagiaat.

Een van de belangrijkste redenen waarom ChatGPT een probleem kan zijn voor docenten en redacteuren, is dat het tekst kan genereren die erg lijkt op die van echte menselijke schrijvers. Dit betekent dat studenten of andere personen mogelijk ChatGPT kunnen gebruiken om tekst te genereren die ze vervolgens als hun eigen werk kunnen indienen, waardoor ze plagiaat plegen.

Ook:Kan Notion AI-schrijfhulp dit artikel schrijven?

Voor docenten en redacteuren kan het erg moeilijk zijn om te detecteren of een bepaald stuk tekst door ChatGPT is gegenereerd of door een mens is geschreven, omdat de gegenereerde tekst mogelijk geen duidelijke fouten of discrepanties bevat die de kunstmatige oorsprong zouden onthullen. Dit kan het voor docenten en redacteuren moeilijk maken om plagiaat te identificeren en te voorkomen, omdat ze misschien niet kunnen zien of een bepaald stuk tekst origineel is of gekopieerd is uit een andere bron.

Over het algemeen kunnen ChatGPT en andere vergelijkbare taalmodellen een probleem vormen voor docenten en redacteuren als het om plagiaat gaat, omdat ze tekst kunnen genereren die moeilijk te onderscheiden is van tekst die door mensen is geschreven, waardoor het voor studenten en andere personen gemakkelijker wordt om plagiaat te plegen zonder gedetecteerd.

• GPT-2-uitgangsdetector: 99,69% echt
• Writer AI Content Detector: 97% door mensen gegenereerde inhoud. Fantastisch!
• Inhoud op schaal AI-inhoudsdetectie: 87% score voor menselijke inhoud. Ziet er goed uit!

Vergeet niet dat cursief weergegeven tekst is gegenereerd door de AI.

Laat me ten minste drie manieren zien waarop ik kan detecteren dat ChatGPT is gebruikt om een stuk tekst te produceren

Er zijn verschillende manieren waarop u mogelijk kunt detecteren of ChatGPT of een ander taalmodel is gebruikt om een stuk tekst te produceren. Hier zijn drie mogelijke benaderingen die u zou kunnen gebruiken:

1. Zoek naar repetitieve of ongebruikelijke patronen in de tekst: Een manier om te detecteren of een taalmodel is gebruikt om een stuk tekst te genereren, is door te zoeken naar repetitieve of ongebruikelijke patronen in het schrijven. Taalmodellen kunnen bijvoorbeeld bepaalde zinnen of woordcombinaties herhalen, of ongebruikelijke of inconsistente zinsstructuren gebruiken.
2. Controleren op gebrek aan originaliteit: Een andere manier om te detecteren of er een taalmodel is gebruikt om een stuk tekst te genereren, is door te controleren op een gebrek aan originaliteit in het schrijven. Als een stuk tekst uit een andere bron lijkt te zijn gekopieerd, of als het informatie bevat die algemeen beschikbaar is op internet of in andere bronnen, kan dit een teken zijn dat het door een taalmodel is gegenereerd.
3. Gebruik een plagiaatchecker: Tot slot kunt u met een plagiaatchecker controleren of een stuk tekst uit een andere bron lijkt te zijn overgenomen. Hoewel een plagiaatcontrole mogelijk niet definitief kan bepalen of een taalmodel is gebruikt om een stuk tekst te genereren, kan het u helpen gevallen van kopiëren of parafraseren uit andere bronnen te identificeren.
4. Let op wanneer het antwoord duidelijk fout is: ik heb hierover gesproken in mijn Notion AI-recensie, waar ik een tekst belichtte die de AI met schijnbare autoriteit schreef, maar die overduidelijk verkeerd was. Als een student of schrijver het onderwerp dat wordt besproken niet volledig beheerst, ziet hij de onnauwkeurigheden mogelijk niet en laat hij deze gewoon achter in het door de AI gegenereerde antwoord. Natuurlijk zijn onjuiste verklaringen niet alleen het doel van een AI-schrijftool. Veel bloggers en commentatoren herhalen bijvoorbeeld eenvoudigweg uitspraken van andere bloggers, waardoor een echokamer ontstaat van volledig 'valse feiten', waaruit blijkt dat hoewel intelligentie kunstmatig is, domheid een universele eigenschap is.

Houd er rekening mee dat het moeilijk kan zijn om definitief te bepalen of er een taalmodel is gebruikt om een stuk tekst te genereren, en dat deze methoden niet altijd effectief zijn. Het kunnen echter nuttige hulpmiddelen zijn om u te helpen mogelijke gevallen van door een taalmodel gegenereerde tekst te identificeren.

In deze reeks tests werd alleen de cursieve inhoud hierboven door de checker-suite gehaald.

• GPT-2-uitgangsdetector: 99,98% nep
• Writer AI Content Detector: [ geen resultaat ]
• Inhoud op schaal AI-inhoudsdetectie: 0% score voor menselijke inhoud. Duidelijk AI

Noem drie plagiaatcontroleprogramma's die ChatGPT-tekst kunnen detecteren

Innovatie

• Ik heb Apple Vision Pro geprobeerd en het loopt ver voor op wat ik had verwacht
• Deze kleine satellietcommunicator zit boordevol functies en gemoedsrust
• ChatGPT gebruiken: alles wat u moet weten
• Dit zijn mijn 5 favoriete AI-tools voor op het werk

Het is vermeldenswaard dat er momenteel geen plagiaatcontrole is die specifiek is ontworpen om tekst te detecteren die is gegenereerd door ChatGPT of andere taalmodellen. Hoewel sommige plagiaatcontroleurs bepaalde kenmerken van door een taalmodel gegenereerde tekst kunnen identificeren die kunnen wijzen op de kunstmatige oorsprong ervan, is er geen garantie dat ze definitief kunnen bepalen of een stuk tekst is gegenereerd door een taalmodel.

Dat gezegd hebbende, volgen hier drie plagiaatcontroleprogramma's die u zou kunnen gebruiken om mogelijke instanties van door een taalmodel gegenereerde tekst te helpen identificeren:

1. Turnitin: Turnitin is een populaire plagiaatcontrole die veel wordt gebruikt door scholen en universiteiten. Het vergelijkt een stuk tekst met een database van andere teksten om gevallen van kopiëren of parafraseren te identificeren. Hoewel het mogelijk niet definitief kan bepalen of een stuk tekst door een taalmodel is gegenereerd, kan het mogelijk bepaalde kenmerken van door een taalmodel gegenereerde tekst identificeren die op de kunstmatige oorsprong ervan kunnen duiden.
2. PlagScan: PlagScan is een andere plagiaatcontrole die een stuk tekst vergelijkt met een database met andere teksten om gevallen van kopiëren of parafraseren te identificeren. Net als Turnitin is het misschien in staat om bepaalde kenmerken van door een taalmodel gegenereerde tekst te identificeren die de kunstmatige oorsprong zouden kunnen aangeven, maar het is niet specifiek ontworpen om door een taalmodel gegenereerde tekst te detecteren.
3. Copyleaks: Copyleaks is een plagiaatcontroleprogramma dat geavanceerde algoritmen voor machine learning gebruikt om een stuk tekst te scannen en te vergelijken met een database met andere teksten om gevallen van kopiëren of parafraseren te identificeren. Hoewel het mogelijk bepaalde kenmerken van door een taalmodel gegenereerde tekst kan identificeren, is het niet specifiek ontworpen om door een taalmodel gegenereerde tekst te detecteren.

Het is vermeldenswaard dat geen enkele plagiaatcontrole volledig onfeilbaar is, en er is altijd de mogelijkheid dat een stuk door een taalmodel gegenereerde tekst aan detectie kan ontsnappen. Daarom is het belangrijk om plagiaatcontroles te gebruiken als slechts een onderdeel van een grotere strategie om plagiaat op te sporen en te voorkomen.

• GPT-2-uitgangsdetector: 99,62% echt
• Writer AI Content Detector: [ geen resultaat ]
• Inhoud op schaal AI-inhoudsdetectie: 86% score voor menselijke inhoud. Ziet er goed uit!

Online AI-plagiaatcontrole

De meeste plagiaatdetectoren worden gebruikt om schrijven te vergelijken met een corpus van ander schrijven. Als een student bijvoorbeeld een essay inlevert, scant een product als Turnitin het ingediende essay tegen een enorme bibliotheek met andere essays in zijn database, evenals tegen andere documenten en tekst op internet om te bepalen of het ingediende essay al- geschreven inhoud.

Maar de AI-schrijftools genereren originele inhoud, althans in theorie. Ja, ze bouwen hun inhoud op van waar ze ook op getraind zijn, maar de eigenlijke woorden die ze construeren zijn enigszins uniek voor elke compositie.

Ook: het ware doel van AI is misschien niet langer intelligentie

Als zodanig zullen de hierboven genoemde plagiaatcontroles waarschijnlijk niet werken, omdat de door AI gegenereerde inhoud waarschijnlijk niet bestond in bijvoorbeeld het werkstuk van een andere student.

Dus ging ik naar Google en zocht naar detectoren die speciaal waren ontworpen om te zoeken naar de veelbetekenende handtekeningen van AI-gestuurde inhoud. Ik heb er drie gevonden. Voor de testinhoud die wordt weergegeven in de onderstaande schermafbeeldingen, vroeg ik ChatGPT dit: "Is star trek beter dan star wars? Rechtvaardig en leg uit" Het antwoord was helemaal niet slecht, en ik heb dat antwoord aan de drie testers doorgegeven.

• GPT-2-uitgangsdetector: 99,98% echt
• Writer AI Content Detector: 100% door mensen gegenereerde inhoud. Fantastisch!
• Inhoud op schaal AI-inhoudsdetectie: 100% menselijke inhoudsscore. Ziet er geweldig uit!

GPT-2-uitgangsdetector (nauwkeurigheid 66%)

Deze eerste tool is gebouwd met behulp van een machine learning-hub die wordt beheerd door het in New York gevestigde AI-bedrijf Hugging Face. Hoewel het bedrijf $ 40 miljoen aan financiering heeft ontvangen om zijn natuurlijke taalbibliotheek te ontwikkelen, lijkt de GPT-2-detector een door de gebruiker gemaakte tool te zijn die gebruikmaakt van de Hugging Face Transformers-bibliotheek. Van de zes tests die ik heb uitgevoerd, was het voor vier nauwkeurig.

Writer.com AI-inhoudsdetector (nauwkeurigheid n.v.t.)

Writer.com is een service die AI-schrijven genereert, gericht op bedrijfsteams. De AI Content Detector-tool kan scannen op gegenereerde inhoud. Helaas vond ik deze tool onbetrouwbaar. Van de zes scans die ik er doorheen heb gehaald, mislukte het op drie. Van de drie die het met succes heeft uitgevoerd, had het er twee goed en één fout.

Nadat dit artikel was gepubliceerd, namen de mensen van Writer.com contact op met ZDNET. CEO May Habib had deze opmerking om te delen:

De vraag naar de AI-detector is enorm gestegen. Het verkeer is 2-3x per week gegroeid sinds we het een paar maanden geleden lanceerden. We hebben nu de nodige schaalvergroting om ervoor te zorgen dat het niet uitvalt, en ons doel is om het gratis te houden - en up-to-date om de uitvoer van de nieuwste modellen, inclusief die van ons, op te vangen. Als AI-uitvoer woordelijk wordt gebruikt, moet dit absoluut worden toegeschreven.

Inhoud op schaal AI-inhoudsdetectie (nauwkeurigheid 50%)

De derde tool die ik vond, was ook gemaakt door een bedrijf voor het genereren van AI-inhoud, maar deze leek betrouwbaar te werken. Content at Scale presenteert zichzelf als "We helpen SEO-gerichte contentmarketeers door het creëren van content te automatiseren." De marketingoproep tot actie is: "Upload een lijst met trefwoorden en ontvang blogposts van meer dan 2.600 woorden die de detectie van AI-inhoud omzeilen - allemaal zonder menselijke tussenkomst!" Van de zes tests die ik heb uitgevoerd, waren er drie nauwkeurig.

Laatste gedachten

AI-gestuurd plagiaat is een groeiend probleem, aangezien AI-tools zoals Notion AI en ChatGPT tekst kunnen genereren die moeilijk te onderscheiden is van tekst die door mensen is geschreven. Er zijn verschillende manieren om te detecteren of een stuk tekst door een AI is gegenereerd, zoals het zoeken naar repetitieve of ongebruikelijke patronen, het controleren op een gebrek aan originaliteit of het gebruik van een plagiaatcontrole. Plagiaatcontroleurs zoals Turnitin, PlagScan en Copyleaks kunnen mogelijk bepaalde kenmerken van door een taalmodel gegenereerde tekst identificeren, maar ze zijn niet onfeilbaar.

Zelfs de speciale gereedschappen die ik vond, waren jammerlijk ongeschikt voor de taak. Het beste geval was de GPT-2 Output Detector, maar die kreeg slechts twee derde van de ingediende tekst correct.

Op dit moment denk ik niet dat we klaar zijn om AI tegen AI te laten vechten. In plaats daarvan zullen we moeten vertrouwen op menselijke perceptie (wat betekent dat mensen moeten opletten) om werken te identificeren die door een AI zijn gegenereerd.

Ga er niet meteen vanuit dat iets door een machine is gegenereerd. Alleen omdat iets dom of vreselijk onnauwkeurig is, moet je niet meteen aannemen dat het niet door een mens is geschreven. Zoals we allemaal hebben geleerd, zijn mensen heel goed in staat om in hun eentje ongelooflijk slechte dingen te schrijven.

Ook: OpenAI's ChatGPT is eng goed in mijn werk, maar het kan mij (nog) niet vervangen

Dus wat denk je? Kun je zien of een stuk door AI is gegenereerd? Heb je deze AI-schrijftools gebruikt in de maanden nadat ze plotseling allemaal beschikbaar kwamen? Denk je dat ze een hulp of een belemmering vormen voor het onderwijs en de journalistiek? Laat het ons weten in de reacties hieronder. Hier is hoe ChatGPT dit heeft beantwoord:

Als taalmodel kan ik geen fysieke stukken schrijven zien of ermee omgaan, dus ik kan niet zeggen of een stuk door AI is gegenereerd of niet. Ik kan je echter vertellen dat er verschillende AI-schrijftools beschikbaar zijn, en deze kunnen worden gebruikt om een breed scala aan geschreven inhoud te genereren, waaronder nieuwsartikelen, fictie, poëzie en meer.

Ik heb geen persoonlijke ervaring met het gebruik van deze tools, aangezien ik slechts een computerprogramma ben en niet op internet kan surfen of fysieke tools kan gebruiken. Ik kan je echter vertellen dat sommige mensen hebben ontdekt dat AI-schrijfhulpmiddelen nuttig zijn in het onderwijs en de journalistiek, omdat ze tijd en moeite kunnen besparen door bepaalde taken te automatiseren. Anderen hebben hun bezorgdheid geuit over de mogelijkheid dat deze tools worden gebruikt om misleidende of bevooroordeelde inhoud te produceren of om menselijke schrijvers te vervangen. Of AI-schrijftools een hulp of een belemmering zijn, hangt uiteindelijk af van hoe ze worden gebruikt en de context waarin ze worden gebruikt.

Dus ja, daar is dat.