Evaluarea modului în care studenții la medicină dentară interacționează cu pacienții copii ar putea fi realizată mai rapid prin analizarea transcrierilor consultațiilor, fără vizionarea integrală a înregistrărilor video, sugerează un studiu-pilot realizat la Universitatea Națională din Singapore. Folosirea inteligenței artificiale pentru această sarcină a oferit însă rezultate insuficient de consecvente.
Cercetătorii de la Facultatea de Medicină Dentară a Universității Naționale din Singapore au evaluat o posibilă metodă de reducere a timpului necesar cadrelor didactice pentru analizarea competențelor de ghidare comportamentală ale studenților.
Aceste competențe sunt importante în stomatologia pediatrică, unde medicul trebuie să comunice eficient și să își adapteze abordarea în cazul copiilor anxioși, temători sau necooperanți.
Feedbackul individual oferit de cadrele didactice poate contribui la dezvoltarea acestor abilități. Vizionarea integrală a consultațiilor înregistrate presupune însă un consum important de timp, ceea ce poate limita numărul interacțiunilor evaluate.
Studiul a analizat 40 de consultații cu pacienți între 4 și 12 ani
Studiul a inclus 40 de consultații clinice înregistrate video, în care studenți din ultimul an au tratat pacienți cu vârste cuprinse între 4 și 12 ani.
Înregistrările fuseseră evaluate anterior cu ajutorul unei scale validate pentru aprecierea tehnicilor de ghidare comportamentală utilizate în stomatologia pediatrică.
Consultațiile au fost apoi transcrise integral. Un evaluator uman a analizat textele folosind o versiune adaptată a aceleiași scale, din care au fost eliminate componentele referitoare la comunicarea nonverbală. Pentru a permite comparația, elementele nonverbale au fost eliminate și din scorurile obținute prin analiza înregistrărilor video.
Evaluarea transcrierii a durat 12 minute, față de 73 de minute pentru video
Analizarea unei transcrieri a necesitat, în medie, 12 minute, cu valori cuprinse între 3 și 25 de minute. Înregistrările video aveau o durată medie de 73 de minute, variind între 37 și 120 de minute.
Diferența dintre cele două metode a fost semnificativă statistic. În același timp, scorurile obținute prin evaluarea transcrierilor au prezentat o concordanță bună cu cele rezultate din analiza materialelor video.
Coeficientul de corelație intraclasă a fost de 0,830, rezultat interpretat de cercetători ca indicând o fiabilitate bună între cele două metode de evaluare.
Autorii consideră că transcrierile ar putea permite cadrelor didactice să analizeze mai multe consultații și să le ofere studenților feedback individual mai frecvent, cu un consum mai redus de timp.
Înregistrările video rămân necesare pentru comunicarea nonverbală
Metoda bazată pe text nu poate înlocui complet analiza video. Tonul vocii, expresiile faciale, gesturile și reacțiile nonverbale ale copilului sau ale studentului nu pot fi evaluate numai din transcriere.
Înregistrările video ar rămâne astfel necesare atunci când obiectivul evaluării include întregul proces de comunicare și gestionare a comportamentului pacientului pediatric.
Transcrierile ar putea fi folosite mai ales pentru analiza componentei verbale, ca instrument complementar sau ca metodă de evaluare inițială.
Modelele de inteligență artificială au oferit scoruri variabile
Cercetătorii au analizat și posibilitatea automatizării evaluării cu ajutorul unor modele lingvistice de mari dimensiuni. O versiune gratuită și una cu plată a ChatGPT au primit sarcina de a evalua fiecare transcriere de câte trei ori.
Scorurile generate de cele două modele au prezentat o concordanță moderată cu evaluarea realizată de expertul uman. Rezultatele nu au fost însă suficient de stabile atunci când aceeași transcriere a fost analizată în mod repetat.
Versiunea gratuită a oferit același scor în toate cele trei evaluări pentru numai 7 dintre cele 40 de consultații, reprezentând 18% din cazuri. Versiunea cu plată a furnizat același rezultat de trei ori în doar 4 cazuri, respectiv 10%.
Autorii consideră că modelele generale de inteligență artificială testate nu sunt, în forma actuală, suficient de consecvente pentru a evalua independent competențele de comunicare ale studenților.
Cercetătorii pregătesc un sistem de feedback asistat de AI
Echipa vede totuși un potențial pentru dezvoltarea unui „mentor virtual” care să analizeze transcrierile și să sprijine generarea unui feedback personalizat, sub supravegherea cadrelor didactice.
Cercetătorii au obținut finanțare din partea Ministerului Educației din Singapore pentru un studiu ulterior, în care va fi evaluată utilizarea feedbackului generat de inteligența artificială în timpul pregătirii clinice a studenților.
Studiul actual are mai multe limite. Cercetarea a inclus un număr redus de consultații, a fost realizată într-o singură instituție și a utilizat un singur evaluator uman pentru transcrieri. Sunt necesare studii mai ample, cu mai mulți evaluatori, instituții și modele de inteligență artificială.
Studiul, intitulat Evaluating the Pediatric Behavior Guidance of Students Based on Actual Clinical Transcripts Scored by Faculty and Large Language Models: Pilot Comparative Study, a fost publicat în revista JMIR Medical Education.
Studiul original: JMIR Medical Education
