Isprobali smo aplikaciju koja bi trebala razotkriti varanje studenta pomoću AI-ja, ovo su rezultati
Edward Tian, 22-godišnji student Sveučilišta Princeton, napravio je aplikaciju GPTZero koja bi trebala pomoći profesorima da prepoznaju tekst kojeg je generirao ChatGPT. Aplikaciju smo odlučili isprobati, a rezultat – nije bio pozitivan.
Foto: Unsplash
ChatGPT nije vaša novost. Postao je ‘poznat’ i na fakultetima, pa profesori već znaju da studenti mogu vrlo lako varati pomoću ovog nevjerojatnog chatbota za sintezu teksta pomoću umjetne inteligencije (AI).
No, Edward Tian, 22-godišnji student sa Sveučilišta Princeton, napravio je tijekom zimskih praznika aplikaciju GPTZero, koja u teoriji može otkriti je l’ tekst napisao ChatGPT ili ‘stvarni čovjek’. Njegova motivacija za stvaranje ove aplikacije, bila je borba protiv AI plagiranja.
– Ljudi zaslužuju znati istinu, slogan je GPTZero aplikacije koji se pojavi odmah pri njenom prvom otvaranju.
Isprobali smo aplikaciju
Tian je u razgovoru za portal NPR, otkrio da su mu se mnogobrojni profesori javili nakon što je izbacio GPTZero početkom siječnja, tvrdeći da im njegova aplikacija uistinu daje pozitivne rezultate. Iz tog smo razloga i sami odlučili provjeriti kako aplikacija ovog 22-godišnjeg studenta radi u praksi.
Naime, još smo sredinom siječnja zatražili od ChatGPT-a da nam napiše seminarski rad o Sovjetskom Savezu u Drugom svjetskom ratu, pa smo odlučili kopirati jedno poglavlje u GPTZero i vidjeti hoće li ga prepoznati.
Za početak, potrebno je reći kako GPTZero mjeri složenost teksta pomoću dva indikatora – kompliciranost (perplexity) i raspršenost (burstiness). Kompliciranost mjeri složenost teksta. Drugim riječima, ako je GPTZero zbunjen tekstom, onda je on složen te je vjerojatnije da ga je napisao čovjek, a ne AI.
Rezultat je – razočaravajuć
Raspršenost uspoređuje varijacije rečenica. Ljudi, primjerice, imaju tendenciju pisati duže i složenije rečenicu uz one kraće, dakle postoji nekakva raznolikost. S druge strane, AI ima tendenciju da struktura rečenica bude ujednačena i nekako – monotona.
Paragraf iz seminara kojeg smo kopirali, imao je prosječnu kompliciranost od 565, što je, prema GPTZerou, poprilično komplicirano. S druge strane, raspršenost nam nije mogao analizirati, ali je bez obzira na to na kraju dao rezultat da tekst nije generirao AI već ljudska ruka. Dakle, aplikacija koja bi se trebala boriti protiv ChatGPT-a, nije ga uspjela prepoznati.
Screenshot: GPTZero
No, napominjemo kako je i dalje riječ o testnoj verziji aplikacije te da bi se stvari u budućnosti ipak trebale poboljšati. Do tada će profesori ipak trebati imati na umu ChatGPT i njegove ‘magične’ sposobnosti.
