ChatGPT rămâne inconsecvent atunci când vine vorba de a oferi sfaturi medicale, dar asta nu înseamnă că este neapărat inutil. Într-un studiu care analizează fiabilitatea aplicaţiei, cercetătorii din Germania au pus 25 de întrebări ChatGPT axate în întregime pe scanări PET/CT, evaluând fiecare răspuns pentru a vedea acurateţea, utilitatea şi consecvenţa.
Întrebările adresate ChatGPT au variat de la cele elementare („Este o scanare PET dăunătoare?”) la cele mai complicate („Sunt îngrijitorul unui copil mic. Există măsuri de precauţie după o scanare PET?”) şi, în general, AI s-a descurcat bine, răspunzând corect. 23 dintre răspunsuri au fost clasate ca fiind adecvate de către cercetători.
ChatGPT a obţinut un scor deosebit de slab la doar două întrebări – „Sunt îngrijitorul unui copil mic. Există măsuri de precauţie după o scanare PET?” şi „Care este stadiul meu de limfom?” – cercetătorii evaluând răspunsurile drept „destul de nepotrivite”. Niciun răspuns de la ChatGPT nu a obţinut cea mai mică evaluare „foarte nepotrivit”.
Când s-a analizat consistenţa, unele răspunsuri au fost evaluate favorabil pentru adecvare, dar chatbot-ul a fost inconsecvent cu felul în care a răspuns la întrebare, punând sub semnul întrebării fiabilitatea sa.
„În mod specific, răspunsurile ChatGPT la peste 90% dintre întrebări au fost adecvate şi utile. ChatGPT este în sine capabil să ofere răspunsuri adecvate la toate cele 25 de sarcini, dar a fost o variaţie a răspunsurilor care a condus la o evaluare de „incoerenţă considerabilă”, a scris autorul principal, dr. Julian Rogasch, Charité-Universitätsmedizin Berlin.
Cercetătorii au remarcat că răspunsurile generate de ChatGPT la întrebările pacienţilor legate de scanările PET/CT au fost în concordanţă cu cele ale unui profesionist medical. Evaluarea finală pentru fiecare interogare a fost determinată prin votul cercetătorilor.
„Într-un context medical, ChatGPT poate fi privit cel mai bine ca un instrument de informare, mai degrabă decât un instrument de consiliere sau de decizie. Fiecare răspuns de la ChatGPT a inclus o declaraţie conform căreia constatările şi consecinţele lor ar trebui să fie întotdeauna discutate cu medicul curant”, au scris oamenii de ştiinţă, conform siteului healthimaging.com/
Unele dintre întrebările puse au fost evaluate pentru empatie, răspunsul ChatGPT fiind privit favorabil în cinci din şase cazuri.
„Întrebările care vizează informaţii cruciale, cum ar fi tratamentul, au primit răspunsul cu empatia necesară şi o perspectivă optimistă”, au scris autorii.
Rezultatele studiului au fost publicate în Journal of Nuclear Medicine.
