Zadali smo ChatGPT-u da riješi maturu iz Hrvatskog: Rezultati nas nisu iznenadili
Zadali smo ChatGPT-u da riješi maturu iz Hrvatskog jezika. Očekivano, postigao je solidan rezultat, točno odgovorivši na 44 od 62 pitanja, odnosno na 70,97 posto ispita. Najviše pogrešaka napravio je na zadacima čitanja, dok je u gramatici i teoriji pokazao relativno dobro znanje, iako mu je tu i tamo nešto ponekad promaknulo.
Ispit iz Hrvatskog jezika | foto: srednja.hr
Matura iz Hrvatskog jezika ove je godine doživjela brojne promjene. Prvi put se ne pišu dvije razine, već se piše jedna, jedinstvena razina. Osim toga, uvedeno je i pisanje sažetka, a za prolaz je potrebno zadovoljiti minimalni prag i na ispitu i na eseju.
Maturantima nije bilo teško, a ChatGPT-u?
Uz sve to, maturanti su nam u razgovoru tik nakon pisanja ispita otkrili da i nije bio toliko težak, izuzev nekoliko pitanja iz gramatike.
– Tekstovi iz kojih se tražilo razumijevanje bili su dosta lagani pa se tu moglo nakupiti dosta bodova relativno jednostavno. Najteži dio ispita mi je možda bila gramatika jer je bilo nekoliko pitanja u kojima sam se dvoumila, iako smatram da stvarno ni to nije bilo teško, rekla nam je Dora iz Zdravstvene i veterinarske škole dr. Andrije Štampara Vinkovci.
Imajući na umu da ispit možda i nije bio toliko težak, odlučili smo upogoniti AI chatbot ChatGPT i zadati mu zadatke na zaokruživanje, dakle, one iz književnosti i gramatike. Sažetak je mogao napisati, ali ga ne možemo ocijeniti, stoga smo to preskočili. Napominjemo da smo koristili besplatnu inačicu ChatGPT-a koja koristi jezični model GPT-3.
Napominjemo, također, da zadatke nismo samo copy pasteali u ChatGPT i završili svoj posao. One koji zahtijevaju čitanje određenog teksta, morali smo jednog po jednog staviti u AI chatbot. Odgovore nam je davao izrazito brzo i problema nije bilo, a rezultati nas – nisu pretjerano iznenadili.
Rezultati koje je postigao ChatGPT
Naime, od ukupno 62 pitanja, ChatGPT točno je odgovorio na njih 44. Kad se to pretvori u postotke, to bi značilo da je iz mature iz Hrvatskog imao rezultat od 70,97 posto. Ako bi se još u to sve dodao sažetak kojeg bi, vjerojatno, napisao prosječno dobro, možemo zaključiti da bi ChatGPT sasvim solidno prošao na maturi.
E sad, malo detaljnije o tome gdje je to ChatGPT zapeo. Najviše netočnih odgovora imao je na zadacima čitanja, a najmanje iz gramatike i ostalih teorijskih pitanja. Naša pretpostavka je da ipak neke tekstove nije razumio dovoljno dobro, pa je jednostavno pogađao odgovore. Primjerice, ako je uspio shvatiti tekst, sve je odgovorio točno, a ako nije, sve je odgovorio netočno. Tu je vidljiv određen uzorak.
Nadalje, gramatička i teorijska pitanja znao je dosta dobro, jer tu nije bilo previše razmišljanja. Odgovore je vukao iz enormne baze podataka, ali tu i tamo mu je znalo nešto promaknuti. Iznenadilo nas je, doduše, to što je posljednji zadatak s nadopunjavanjem riješio gotovo bez greške.
