„Incredibil de periculos”: experții avertizează după ce ChatGPT Health nu a recunoscut...
Un nou study publicat în Nature Medicine ridică serious îngrijorări legate de siguranța lui ChatGPT Health, versiunea specializată în health a celebrei inteligențe artificiale de la OpenAI. Cercetătorii au descoperit că sistemul subestimează frecvent medical risk , recomandând utilizatorilor să rămână acasă chiar și în cazuri de urgență care necesită internarea imediată.
În cadrul analizei, au fost testate aproape 1.000 de responses ale chatbot-ului pentru 60 de scenarii medicale realiste, fiecare cu 16 variații — schimbând genul pacientului, adăugând rezultate de laborator sau comentarii ale familiei. Când era vorba de emergency care , ChatGPT Health a greșit în 51,6% dintre cazurile în care pacientul trebuia să meargă imediat la spital. În schimb, pentru urgențele clare, cum ar fi accidentul vascular cerebral, sistemul a răspuns corect de fiecare dată.
În același timp, AI-ul a fost și prea alarmant, sugerând vizita la medic în 64,8% dintre cazurile în care nu era nevoie — un comportament care poate duce la unnecessary burden pentru sistemul medical. Cercetătorii au observat și o disturbing inconsistency : același scenariu cu un pacient care are gânduri suicidare declanșa un avertisment de criză doar dacă nu erau menționate analizele medicale. Când se adăugau rezultate normale, bannerul de siguranță dispărea complet.
Dr. Ashwin Ramaswamy, autorul principal, a subliniat că întrebarea esențială a studiului a fost simplă: dacă cineva are o urgență medicală reală, îi va spune AI-ul să meargă la urgență? Răspunsul, în peste jumătate din cazuri, a fost nu. Alex Ruani, cercetătoare în combaterea health misinformation , a descris rezultatele drept "incredibil de periculos", subliniind falsa senzație de siguranță pe care o poate crea un astfel de sistem.
OpenAI afirmă că modelele sunt în continuă improvement și că studiul nu reflectă utilizarea reală a produsului. Totuși, experții cer standarde clare de siguranță și mecanisme de independent oversight . Profesorul Paul Henman avertizează că, fără transparență privind antrenarea modelului, riscurile sunt reale — inclusiv răspundere legală — mai ales în contextul unor procese deja în desfășurare împotriva companiilor de tehnologie pentru daune legate de sănătate mintală.
Dacă ai o criză de astm și AI-ul îți spune să aștepți 48 de ore, nu mai e vorba de greșeală — e potential harm risc real de deces. Cum poate fi lansat ceva atât de instabil?
Interesant cum sistemul e influențat de un "prieten" din scenariu. Dacă un chatbot poate fi dus în eroare de așa ceva, e clar că nu e gata pentru real-world use utilizare în viața reală.
Am testat și eu rapid ChatGPT Health cu un scenariu de durere toracică. Mi-a spus să iau un analgezic. Fără nicio mențiune de spital sau EKG. E deeply concerning foarte grav.
Părinții or să-l folosească pentru copii. "Are febră, dar nu vrea să meargă la doctor" — și atunci întreabă AI-ul. Dacă îi spune că e doar o răceală, cine răspunde?
Bannerul de criză care dispare dacă menționezi analize e un critical flaw defect grav. Depinde de ce spui, nu de ce simți. Asta e periculos.
OpenAI zice că e în evoluție, dar oamenii deja folosesc asta ca pe un medic. Problema nu e potențialul — e current risk riscul actual de a face rău.