Scenariul e similar cu faimosul experiment al lui Alan Turing. Expertul a propus un test în care oamenii nu puteau distinge între o mașinărie și AI. De aici și celebra denumire, de Testul Turing, care a fost folosit încă din anii 1960. 

Acum, experții au recreat acest test, pentru a analiza noile unelte AI, scrie Tech Radar.

Oamenii nu pot distinge între ChatGPT și o persoană în conversație

Experți din cadrul Universității din San Diego au vrut să testeze noile sisteme AI. Ei au evaluat ELIZA (un chatbot simplu din anii 1960), GPT-3.5 și GPT-4, într-un Test Turing controlat. Participanții au avut o conversație de 5 minute, fie cu un alt om, fie cu AI. Ulterior, au decis dacă partenerul lor de conversație a fost om.

Potrivit rezultatelor cercetării, oamenii nu pot distinge între ChatGPT și o persoană, în acest test. 

Uneltelor AI li s-a spus cum să răspundă la mesaje. Experții au instruit modelele să „adopte personalitatea unei persoane tinere foarte concise, care nu lua jocul în serios, folosea expresii colocviale și făcea ocazional și greșeli gramaticale”. 

În plus, cerințele experților includeau „informații generale despre modul în care funcționează jocul. Și informații despre noi evenimente care au avut loc după perioada de antrenare a modelelor”. 

Ambele modele au fost accesate prin OpenAI API cu temperatura de 1, pentru a preveni AI-ul să răspundă prea repede. Astfel, răspunsurile AI au fost trimise cu întârziere, în funcție de numărul literelor din mesaj. 

În urma studiului la care au participat 500 de subiecți, experții au concluzionat că oamenii nu pot distinge între ChatGPT și o persoană în conversație. 

GPT-4 a fost considerat om 54% din timp

Cei 500 de participanți au fost împărțiți în 5 grupuri. Aceștia au vorbit fie cu un om, fie cu unul dintre cele 3 sisteme AI. Interfața testului semăna cu fereastra obișnuită a unei aplicații de mesagerie.

După 5 minute, participanții trebuiau să decidă dacă discuția pe care au avut-o a fost purtată cu un om sau cu AI. 

În cadrul testului, experții au concluzionat că oamenii nu pot distinge între ChatGPT și o persoană în conversație. 

Potrivit rezultatelor, în 54% dintre cazuri, GPT-4 a fost identificat drept uman. GPT-3.5 a atins pragul de 50%. ELIZA a atins doar 22% în acest test. Dar pe primul loc s-au aflat oamenii, cu 67%. 

În urma analizei, experții au concluzionat că participanții se bazau pe stilul lingvistic, factori socio-emoționali și întrebări bazate pe cunoștințe generale. Nu e prima dată când e realizat un astfel de test. Atunci când a fost lansat GPT-4, OpenAI a susținut că noul model e de sute de ori mai puternic decât varianta GPT-3.5.