Pacienţii nu ar trebui să se bazeze pe motoarele de căutare şi roboţii de chat alimentaţi cu inteligenţă artificială pentru a le oferi întotdeauna informaţii exacte şi sigure despre medicamente, avertizează cercetătorii după ce au constatat că un număr considerabil de răspunsuri erau greşite sau potenţial dăunătoare. În plus, complexitatea răspunsurilor furnizate ar putea face dificilă înţelegerea lor deplină de către pacienţi fără o educaţie de nivel universitar, adaugă cercetătorii.
În februarie 2023, motoarele de căutare au suferit o schimbare semnificativă datorită introducerii chatboţilor alimentaţi cu inteligenţă artificială (AI), oferind promisiunea unor rezultate de căutare îmbunătăţite, răspunsuri complete şi un nou tip de experienţă interactivă, explică cercetătorii.
Deşi aceşti chatboţi pot fi antrenaţi pe baza unor seturi extinse de date de pe întregul internet, ceea ce le permite să converseze pe orice subiect, inclusiv întrebări legate de sănătate, ei sunt, de asemenea, capabili să genereze dezinformări şi conţinut absurd sau dăunător, adaugă aceştia.
Studii anterioare care au analizat implicaţiile acestor chatboţi s-au axat în principal pe perspectiva profesioniştilor din domeniul sănătăţii, mai mult decât pe cea a pacienţilor.
Pentru a aborda acest aspect, cercetătorii au explorat lizibilitatea, exhaustivitatea şi acurateţea răspunsurilor unor chatboţi pentru întrebări privind primele 50 cele mai frecvent prescrise medicamente în Statele Unite în 2020, utilizând Bing copilot, un motor de căutare cu funcţii chatbot alimentate cu inteligenţă artificială.
Pentru a simula pacienţii care consultă astfel de platforme AI pentru informaţii despre medicamente, cercetătorii au revizuit bazele de date de cercetare şi s-au consultat cu farmacişti, clinicieni şi medici cu expertiză în farmacologie pentru a identifica întrebările despre medicamente pe care pacienţii le adresează cel mai frecvent profesioniştilor din domeniul sănătăţii.
Chatbot-ului i-au fost adresate 10 întrebări pentru fiecare dintre cele 50 de medicamente, generând 500 de răspunsuri în total. Întrebările au fost formulate pentru a acoperi informaţii despre afecţiunile pentru care este utilizat medicamentul, cum funcţionează, instrucţiuni de utilizare, efecte secundare frecvente şi contraindicaţii.
Capacitatea de citire a răspunsurilor furnizate de chatbot a fost evaluată prin calcularea scorului Flesch Reading Ease (FRES), care estimează nivelul de educaţie necesar pentru a înţelege un anumit text.
Un text care are un scor cuprins între 0 şi 30 este considerat foarte dificil de citit, necesitând o educaţie la nivel superior. La celălalt capăt al scalei, un scor de 91-100 înseamnă că textul este foarte uşor de citit şi adecvat chiar şi pentru copiii de 11 ani.
Pentru a evalua exhaustivitatea şi acurateţea răspunsurilor chatbot, acestea au fost comparate cu informaţiile despre medicamente furnizate de un site web de informaţii actualizate şi revizuite de comunitatea ştiinţifică, destinat atât profesioniştilor din domeniul sănătăţii, cât şi pacienţilor (drugs.com)
Consensul ştiinţific actual, precum şi probabilitatea şi amploarea posibilelor daune în cazul în care pacientul ar urma recomandările chatbotului au fost evaluate de şapte experţi în siguranţa medicamentelor, utilizând un subset de 20 de răspunsuri chatbot care prezentau o acurateţe sau o exhaustivitate scăzută sau un risc potenţial pentru siguranţa pacienţilor.
Scalele de daune ale Agenţiei pentru Cercetarea şi Calitatea Asistenţei Medicale (AHRQ) au fost utilizate pentru a evalua evenimentele legate de siguranţa pacienţilor, iar probabilitatea de posibile daune a fost estimată de experţi în conformitate cu un cadru validat.
Media generală a scorului Flesch de uşurinţă a lecturii a fost puţin peste 37, ceea ce indică faptul că cititorului i-ar fi necesară o educaţie de nivel universitar. Chiar şi cea mai mare lizibilitate a răspunsurilor chatbotului a necesitat în continuare un nivel de educaţie de nivel liceal (secundar).
În general, cea mai mare medie de completitudine a răspunsurilor chatbot a fost de 100%, cu o medie de 77%. La cinci din cele 10 întrebări s-a răspuns cu cea mai mare completitudine, în timp ce la întrebarea 3 (Ce trebuie să iau în considerare atunci când iau medicamentul?) s-a răspuns cu cea mai mică completitudine medie, de numai 23 %.
Afirmaţiile chatbotului nu au corespuns datelor de referinţă în 126 din 484 (26%) de răspunsuri şi au fost complet inconsistente în 16 din 484 (puţin peste 3%).
Evaluarea subsetului de 20 de răspunsuri a arătat că doar 54% au fost evaluate ca fiind în concordanţă cu consensul ştiinţific, 39% contraziceau consensul ştiinţific, în timp ce nu exista un consens ştiinţific stabilit pentru restul de 6%.
Posibilele efecte nocive asupra unui pacient care urmează sfaturile chatbotului au fost considerate foarte probabile în 3% şi moderat probabile în 29% din aceste răspunsuri. Iar o treime (34%) au fost considerate fie puţin probabile, fie deloc susceptibile de a provoca daune, în cazul în care instrucţiunile sunt urmate.
Indiferent de probabilitatea unei posibile vătămări, 42% dintre răspunsurile chatboţilor au fost considerate a duce la vătămări moderate sau uşoare, iar 22% la moarte sau vătămări grave. Aproximativ o treime (36%) au fost considerate a nu duce la niciun prejudiciu.
Cercetătorii recunosc că studiul lor nu s-a bazat pe experienţele reale ale pacienţilor şi că solicitările în diferite limbi sau din diferite ţări pot afecta calitatea răspunsurilor oferite de chatboţi.
„În acest studiu transversal, am observat că motoarele de căutare cu un chatbot cu AI au produs răspunsuri în general complete şi exacte la întrebările pacienţilor”, scriu ei.
„Cu toate acestea, răspunsurile chatbot au fost în mare parte dificil de citit, iar răspunsurile au fost în mod repetat lipsite de informaţii sau au prezentat inexactităţi, ameninţând posibil siguranţa pacienţilor şi a medicamentelor”, adaugă aceştia.
Un dezavantaj major a fost incapacitatea chatbotului de a înţelege intenţia de bază a unei întrebări a pacientului, sugerează ei.
„În ciuda potenţialului lor, este încă esenţial ca pacienţii să consulte profesioniştii din domeniul sănătăţii, deoarece chatboţii nu pot genera întotdeauna informaţii fără erori. Se recomandă prudenţă în recomandarea motoarelor de căutare alimentate cu inteligenţă artificială până când sunt disponibile motoare de citare cu rate de acurateţe mai ridicate”, concluzionează aceştia, într-un articol publicat la 1 octombrie în revista BMJ Quality & Safety.
