Aceste rezultate scot la iveală unele limite ale AI, cel puțin atunci când vine vorba de abilități vizuale și de îndeplinire a sarcinilor, scrie SciTechDaily. 

Cercetarea a atras atenția asupra faptului că aproape toate marile modele de limbaj (sau platforme de tip chatbot) dau dovadă de probleme cognitive medii atunci când sunt testate cu ajutorul unor teste menite să detecteze demența în primele etape. Studiul a fost publicat în jurnalul The BMJ.

ChatGPT ar da semne de demență

Potrivit studiului, versiuni mai vechi ale acestor platforme, la fel ca pacienții umani, aveau rezultate mai slabe la teste. Autorii sugerează că aceste descoperiri „pun sub semnul întrebării presupunerea că inteligența artificială ar putea înlocui în curând doctorii umani”. 

Inteligența artificială a avut o dezvoltare semnificativă în ultimii ani. În ciuda celui mai recent avans, se pare că platforme chatbot, precum ChatGPT, ar da semne de demență. Sau echivalentul ei în termeni cognitivi care pot fi aplicați unui astfel de sistem. 

Dezvoltarea inteligenței artificiale a dus la îngrijorări legate de capacitate tehnologiei de a înlocui doctorii atunci când vine vorba de anumite sarcini medicale. 

Studii precedente au demonstrat că modelele mari de limbaj excelează la sarcini care presupun realizarea unui diagnostic medical. Dar potențiala lor vulnerabilitate la probleme cognitive similare cu cele umane nu a fost explorată. Cel puțin nu până la acest studiu. 

Pentru a analiza această particularitate a tehnologiei AI, experții au testat abilitățile cognitive a celor mai mari modele mari de limbaj care sunt disponibile public. Acestea sunt ChatGPT (versiunile 4 și 4o, sistem dezvoltat de OpenAI), Claude 3.5 „Sonnet” (dezvoltat de Anthropic) și versiunile 1 și 1.5 Gemini (dezvoltat de Alphabet). 

Pentru a le testa, experții au folosit standardul Montreal Cognitive Assessment (MoCA). Acesta e folosit pentru a testa declinul cognitiv și primele semne ale demenței în adulții mai în vârstă. Acum, cu acest test, experții au concluzionat că ChatGPT și celelalte modele studiate ar da semne de demență. 

Testul MoCA presupune mai multe întrebări și sarcini simple. Analizează atenția, memoria, limbajul, abilitățile vizuale și spațiale și funcțiile de decizie. Scorul maxim e de 30 de puncte. Orice scor peste 26 e considerat normal. 

Modelele AI au trecut printr-un test menit să studieze declinul cognitiv

Modelele AI au primit instrucțiuni pentru fiecare dintre sarcinile testului. Acestea erau aceleași pe care le primesc pacienții umani. Scorul a urmat regulile oficiale și a fost evaluat de un neurolog. 

ChatGPT, chiar dacă ar da semne de demență, a avut cel mai bun rezultat la test, cu versiunea 4o. Aceasta a primit 26 din 30 de puncte. A fost urmat de ChatGPT 4 și Claude, care au primit 25 din 30 de puncte. Gemini 1.0 a primit cel mai mic scor, cu 16 din 30 de puncte.

Toate modelele AI au avut probleme cu abilitățile vizuale și spațiale și îndeplinirea unor sarcini. Printre acestea se numără încercuirea numerelor și literelor în ordine ascendentă. Sau desenarea unui ceas cu o oră specifică. Modele Gemini au avut probleme și în amintirea unor informații. 

Dar în cele mai multe sarcini, mai ales cele de atenție și limbaj, modelele au avut succes. Mai mult, aceste modele AI nu au putut da dovadă de empatie și nici nu au putut interpreta scene vizuale complexe.