Kan bruk av ChatGPT oppdages?

kan bruk av chatgpt oppdages: 1-2 prosent feilmargin

kan bruk av chatgpt oppdages og skape usikkerhet rundt originaliteten i tekster som leveres inn til vurdering. Å forstå hvordan kontrollverktøy fungerer beskytter mot unødvendige mistanker og sikrer rettferdig behandling av elevarbeid. Sett deg inn i regelverket for å unngå problemer med dokumentasjon av eget arbeid.

Kan bruk av ChatGPT oppdages? Svaret er ja, men med viktige forbehold

Ja, bruk av ChatGPT kan oppdages gjennom en kombinasjon av avansert programvare og menneskelig analyse for å oppdage ai generert tekst. Det finnes ingen metode som er 100 prosent sikker hver eneste gang, men sannsynligheten for at lærere avslører KI-generert innhold ligger på rundt 74 prosent for uendret KI-generert tekst i kontrollerte studier av ^[1] deteksjonsverktøy. Svaret avhenger i stor grad av hvor mye teksten er bearbeidet i etterkant.

Selv om detektorer blir stadig bedre, er det ofte læreren selv som er det mest effektive verktøyet. Språket i en ubehandlet tekst fra en språkmodell har ofte et helt spesielt preg – noe som skaper tydelige tegn på kunstig intelligens i tekst – som gjør den lett å kjenne igjen for et trent øye. KI har en tendens til å skrive veldig korrekt, men ofte litt sjelløst og generelt. For en lærer som kjenner elevens tidligere arbeider, vil et plutselig skifte i ordforråd eller setningsoppbygging fungere som et kraftig varselssignal.

Jeg har selv sittet med tekster som føltes helt riktige på overflaten, men som manglet den menneskelige gnisten. Det er en merkelig følelse - nesten som å lese en bruksanvisning forkledd som et essay. Ofte er det mangelen på spesifikke detaljer fra pensum som avslører jukset. KI-en skriver gjerne om emnet på et overordnet nivå, men glemmer de nyansene vi diskuterte i klasserommet forrige uke.

Hvordan lærere og sensorer avslører ChatGPT i praksis

Lærere ser etter mønstre som bryter med det forventede nivået. Dette handler ikke bare om digitale verktøy, men om en helhetlig vurdering av teksten.

Stilbrudd og endringer i stemme

Dette er kanskje den vanligste måten å bli tatt på. Hvis en elev som vanligvis skriver korte, enkle setninger, plutselig leverer en tekst med komplekse akademiske vendinger og feilfri tegnsetting, ringer bjellene. Sjelden har jeg sett en elev endre skrivemåten sin så drastisk over natten uten hjelp. Læreren kjenner din skriftlige stemme. Når den stemmen plutselig høres ut som en amerikansk professor oversatt til norsk, er mistanken et faktum.

Hallusinasjoner og oppdiktede fakta

ChatGPT har en tendens til å hallusinere - det vil si å dikte opp informasjon som høres troverdig ut. Dette gjelder spesielt kildehenvisninger. Rundt 15-20 prosent av kildene en språkmodell oppgir i komplekse svar kan være helt fiktive. De kan kombinere et ekte forfatternavn med en tittel på en bok som aldri er skrevet. For en sensor tar det nøyaktig 10 sekunder å sjekke om boken faktisk finnes i bibliotekets database. Bommer du her, er løpet kjørt, og uønskede fusk med chatgpt konsekvenser vil inntreffe.

Det er en risiko mange ikke tenker på. Man stoler blindt på maskinen. Men maskinen er ikke en sannhetsmaskin; den er en sannsynlighetsmaskin. Den gjetter på hva det neste ordet skal være.

Tekniske verktøy: Hvor gode er AI-detektorene?

Programvare som Turnitin og GPTZero brukes nå av nesten alle store utdanningsinstitusjoner i Norge. Disse verktøyene analyserer to hovedfaktorer: perplexity (hvor kompleks teksten er) og burstiness (variasjon i setningslengde). Mennesker skriver naturlig med stor variasjon - vi blander korte setninger med lange, forklarende sekvenser. KI-tekst er ofte for jevn.

Digitale detektorer opererer ofte med en feilmargin på mellom 1 og 2 prosent når det gjelder falske positiver.^[3] Det betyr at de en sjelden gang kan flagge en tekst skrevet av et menneske som KI. På grunn av denne usikkerheten brukes resultatene sjelden som eneste bevis i en fuskesak, men heller som grunnlag for en samtale mellom lærer og elev. Verktøyene er en støtte, ikke en dommer.

Det er likevel en teknologisk kappestrid når det gjelder spørsmålet om kan bruk av chatgpt oppdages i stadig mer avanserte tekster. Hver gang detektorene blir bedre, kommer det nye versjoner av språkmodellene som skriver mer menneskelig. Men foreløpig har teknologien overtaket i de fleste enkle tilfeller.

Menneskelig analyse vs. Digital deteksjon

Menneskelig analyse (Lærer)

• Veldig høy når læreren kjenner elevens tidligere nivå og stil
• Gir rom for skjønn og oppfølgingsspørsmål om innholdet
• Tidskrevende og kan være subjektiv

Digital deteksjon (f.eks. Turnitin)

• God på ubehandlet tekst, men kan lure seg ved omfattende omskriving
• Leverer en prosentvis sannsynlighetsscore som indikasjon
• Risiko for falske positiver (1-2 prosent feilmargin)

Andreas og historien om den perfekte innleveringen

Andreas, en elev på videregående i Oslo, slet med en stor historieoppgave om den industrielle revolusjon. Han var sent ute og bestemte seg for å la ChatGPT skrive hele oppgaven for å spare tid. Han leste raskt gjennom og syntes det så profesjonelt ut.

Da oppgaven ble levert, slo Turnitin ut med 85 prosent sannsynlighet for KI. Læreren merket også at Andreas brukte ord som 'paradigmeskifte' og 'sosioøkonomiske implikasjoner', ord han aldri hadde brukt i timene før. Andreas ble kalt inn til samtale.

I samtalen klarte ikke Andreas å forklare de vanskelige begrepene han hadde 'skrevet'. Han innså at han hadde gjort en stor feil da læreren spurte om spesifikke kilder fra pensumboka som ikke var nevnt i det hele tatt. Han ble konfrontert med de oppdiktede sitatene.

Resultatet ble en advarsel og krav om å skrive oppgaven på nytt under tilsyn. Andreas lærte at den 'raske løsningen' kostet ham mer tid i lengden, og at lærerens kunnskap om hans ferdigheter var vanskeligere å lure enn en maskin.