ChatGPT model o1 a întrecut toate așteptările. Cum a surprins experții: „Am rămas uimit”

„În domeniul meu de fizică cuantică, oferă răspunsuri mult mai detaliate și coerente” decât modelul precedent al companiei, GPT-4o, susține Mario Krenn, directorul Artificial Scientist Lab, din cadrul Max Planck Institute for the Science of Light, Germania, scrie Nature. 

Krenn a fost unul dintre experții din „echipa roșie”. Aceasta a testat o versiune timpurie a o1 pentru OpenAI. Experții au luat în considerare și aportul pe care îl poate avea modelul atunci când vine vorba de știință, dar și îngrijorările legate de siguranță.

ChatGPT model o1 a întrecut toate așteptările

De la lansarea publică a ChatGPT în 2022, modelele mari de limbaj care stau la baza acestor platforme s-au dezvoltat. Au mai multe date de antrenament și abilități mai puternice atunci când vine vorba de testele standardizate. 

În testele realizate de „echipa roșie”, ChatGPT model o1 a întrecut toate așteptările experților atunci când vine vorba de cât de folositor e. OpenAI susține că modelul reprezintă o schimbare semnificativă în abordarea companiei. 

Experții susțin că noul model AI ar fi petrecut mai mult timp în faza de învățare. Ca urmare, se „gândește” la răspunsuri mai mult timp. Deși răspunsurile sunt mai lente, sunt mult mai bune. Mai ales în domenii în care răspunsurile bune și rele pot fi definite clar. 

OpenAI susține că o1 „poate să judece când vine vorba de sarcini complexe și să rezolve probleme mai grele decât alte modele precedente din știință, IT sau matematică”. 

În acest moment, OpenAI permite accesul la o1-preview și o1-mini, o versiune mai mică și cu un preț mai accesibil. Aceasta e versiunea creată pentru cei care scriu linii de cod. Modelul e disponibil abonaților și anumitor dezvoltatori, în fază de testare. 

Și în testele experților, ChatGPT model o1 a întrecut toate așteptările atunci când vine vorba de abilitățile sale. 

Andrew White, chimist în cadrul FutureHouse, s-a axat pe modul în care AI poate fi aplicată în cazul biologiei moleculare. Potrivit lui White, experții au fost dezamăgiți de anumite aspecte ale GPT-4. Dar seria o1 ar fi schimbat acest lucru.

Modelul o1 e primul care a bătut experții în setul „diamant”

O1 a devenit primul model care a bătut experți la nivelul doctoratului la cele mai grele întrebări – adică setul „diamant” – în testul Graduate-Level Google-Proof Q&A Benchmark (GPQA)1. OpenAI susține că experții au obținut un procent de aproximativ 70%. Pe când o1 ar fi avut un scor mediu de 78%. Și un scor de 93% în domeniul fizicii. 

OpenAI a testat ChatGPT model o1 și în domeniul matematicii, unde a întrecut așteptările. La examenul de calificare pentru Olimpiada Internațională de Matematică, a obținut un scor de 83%. Modelul precedent, GPT-4o a rezolvat doar 13% dintre probleme. 

Kyle Kabasares, expert din cadrul Bay Area Environmental Research Institute, a folosit o1 pentru a rescrie codurile din proiectul său de doctorat. În acesta, a calculat masa găurilor negre.

„Am fost pur și simplu uimit,” a declarat Kabasares. Modelul o1 ar fi scris liniile de cod necesare într-o oră. Kabasares le-a efectuat în câteva luni de unul singur.