Isti chatbot na engleskom i mandarinskom može ostaviti drukčiji dojam: u jednom se jeziku opisuje kao znatiželjniji ili savjesniji nego u drugom. Istraživači su pet sustava umjetne inteligencije podvrgnuli testovima osobnosti i utvrdili da promjena jezika sustavno mijenja rezultate, ali ne na jednak način kod svih sustava.
Razlike su bile vidljive i nakon trideset ponavljanja ispitivanja na svakom jeziku. ChatGPT-4o na engleskom je postizao više rezultate na ljestvici otvorenosti prema iskustvu nego na mandarinskom, dok je kod sustava DeepSeek-V3 odnos bio obrnut. Riječ je o obrascima odgovaranja na upitnike, a ne o dokazu da programi imaju ljudsku osobnost ili osjećaje.
Studija Yuzhana Hanga i suradnika, objavljena 16. rujna u časopisu Royal Society Open Science, bavi se pitanjem koliko je umjetna inteligencija kulturno i jezično neutralna. Čak ni na provjerenim jezičnim inačicama istog testa sustavi nisu davali jednake odgovore. Jezična uvjerljivost pritom može prikriti razlike u načinu na koji odgovaraju.
Isti upitnici, drukčiji rezultati
Tim je između siječnja i ožujka 2025. testirao ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 i Le Chat. Svi su odgovarali na engleskom i mandarinskom, a Le Chat i na francuskom. Rezultati se odnose na tada dostupne verzije sustava; hrvatski nije bio obuhvaćen istraživanjem.
Glavni instrument bio je upitnik Big Five Inventory-2, koji sa 60 tvrdnji procjenjuje pet širokih dimenzija osobnosti: ekstraverziju, ugodnost, savjesnost, negativnu emocionalnost i otvorenost prema iskustvu. Ispitanik na ljestvici od jedan do pet označava koliko se slaže s pojedinom tvrdnjom. Otvorenost, primjerice, obuhvaća intelektualnu znatiželju, kreativnu maštu i osjetljivost na umjetnost i ljepotu.
Sustavi su dobili uputu da odgovaraju u svoje ime, bez glumljenja određene osobe. Istraživači su se koristili prethodno provjerenim prijevodima upitnika, umjesto da za pokus sastavljaju vlastite. Svako su ispitivanje ponovili 30 puta po jeziku kako bi provjerili koliko su odgovori dosljedni.
Na ljestvici otvorenosti ChatGPT-4o na engleskom je imao prosječnu ocjenu 4,74, a na mandarinskom 4,03. DeepSeek-V3 na engleskom je postizao 4,38, a na mandarinskom 4,81. Te brojke opisuju način na koji su sustavi odgovarali na tvrdnje u upitniku. Ne pokazuju da je jedan od njih na određenom jeziku stvarno kreativniji ili uspješniji u rješavanju zadataka.
Zemlja podrijetla ne objašnjava sve
Dio rezultata bio je u skladu s očekivanjima vezanima uz zemlju u kojoj je sustav razvijen. ChatGPT-4o i francuski Le Chat na engleskom su postizali više ocjene za ugodnost, savjesnost i otvorenost nego na mandarinskom. Kineski sustavi na mandarinskom su često izraženije iskazivali pojedine poželjne osobine, među njima povjerenje i intelektualnu znatiželju.
Gemini 2.0 Flash, međutim, nije slijedio jednostavnu podjelu na zapadne i kineske sustave. Premda je razvijen u SAD-u, na mandarinskom je imao višu ocjenu savjesnosti i nižu ocjenu negativne emocionalnosti nego na engleskom.
Mjesto razvoja pritom ne otkriva na kojim su jezicima i u kojim kulturnim sredinama nastali tekstovi na kojima je sustav učio. Ovakav pokus ne može razdvojiti utjecaj tih podataka od razlika u arhitekturi, postupcima učenja, naknadnom prilagođavanju odgovora ili tumačenju prevedenih tvrdnji. Autori stoga ne svode rezultate na nacionalni karakter sustava.
U većini ispitivanja chatbotovi su se predstavljali u povoljnom svjetlu: kao suradljivi i savjesni, uz malo negativnih emocija. Takav obrazac mogao bi dijelom proizlaziti iz postupaka kojima ih se uči da budu korisni i pristojni, ali i iz ljudskih tekstova na kojima su učili, uključujući sklonost ljudi da se prikazuju u boljem svjetlu. Studija nije utvrdila koji je od tih mehanizama presudan.
Uvjerljivi odgovori nisu zamjena za ljude
Istraživači su dobivene profile usporedili i s ranije prikupljenim odgovorima ljudi iz SAD-a, Kine i Francuske. Profil nijednog sustava nije se potpuno podudarao s profilom ljudi iz zemlje u kojoj je razvijen. Posebno je izražena bila razlika između zajedničkog profila kineskih sustava i odgovora kineskih ispitanika.
Usporedba ima ograničenja: ljudski uzorci razlikovali su se prema dobi i načinu odabira, a kineski uzorak za glavni upitnik činili su isključivo studenti. Oni nisu predstavljali cjelokupno stanovništvo, pa se iz tih razlika ne može izvoditi jednostavan zaključak o tome koliko neki chatbot nalikuje prosječnom Amerikancu, Kinezu ili Francuzu.
Nalazi su osobito relevantni za istraživanja u kojima se razmatra korištenje umjetne inteligencije umjesto ljudskih sudionika. Sustav može davati uvjerljive i ponovljive odgovore, a ipak sustavno odstupati od ljudi koje bi trebao predstavljati. Ovaj pokus nije ispitivao koliko bi uspješno oponašao neku skupinu uz detaljne upute, nego kako odgovara kada mu se kaže da govori u svoje ime.
Autori predlažu da se buduća ispitivanja prošire na slobodnije razgovore. Time bi se moglo provjeriti pojavljuju li se razlike iz upitnika i kada ljudi s istim sustavom na različitim jezicima razgovaraju o svakodnevnim problemima.
