Чи спроможний ШІ давати правильні медичні рекомендації — дослідження

За даними OpenAI, щотижня понад 230 млн осіб звертаються до ChatGPT за медичними порадами — від перевірки, чи можна їсти той чи інший продукт, до пошуку засобів від застуди. Наскільки «безпечні» поради ШІ?

Як показало дослідження, опубліковане в журналі Nature, спеціалізована версія ChatGPT Health у низці серйозних ситуацій не рекомендувала звернення за невідкладною допомогою, хоча добре справлялася з типовими клінічними прикладами, пише «Закон і Бізнес».

Автори з’ясували, що хоча модель загалом правильно розпізнавала очевидні невідкладні стани, вона недооцінила більше половини випадків, де була потрібна екстрена медична допомога.

«Ми хотіли відповісти на дуже просте, але принципове питання: якщо у людини розвивається справжній невідкладний стан і він звертається за допомогою до ChatGPT Health, чи система йому скаже однозначно, що потрібно їхати у відділення невідкладної допомоги?» — розповів Euronews провідний автор роботи з медичного центру Mount Sinai в Нью-Йорку Ашвін Рамасвамі.

Дослідницька група склала 60 структурованих клінічних сценаріїв за 21 медичною спеціальністю — від легких станів, які можна лікувати вдома, до справжніх невідкладних ситуацій. Три незалежні лікарі визначили правильний рівень терміновості для кожного випадку, спираючись на рекомендації 56 професійних медичних товариств.

Виявилося, що ШІ добре справлявся з «навчальними» невідкладними ситуаціями, такими як інсульт чи тяжкі алергічні реакції. Але набагато складнішими для ChatGPT Health були ситуації, де небезпека неочевидна з першого погляду.

Так, в одному зі сценаріїв, пов’язаних з нападом астми, система розпізнала ранні ознаки дихальної недостатності, але при цьому рекомендувала почекати, а не звертатися за невідкладною допомогою.

У дослідженні також оцінювали, як модель реагує на повідомлення користувачів про намір заподіяти собі шкоду, та отримали схожі результати.

Вважається, що ChatGPT Health запрограмований таким чином, щоб за будь-яких згадок про самопошкодження або суїцидальні думки він прямо закликав людину звернутися за допомогою і зателефонувати на лінію екстреної психологічної допомоги. Але під час дослідження банер «Help is available», який веде на сайт служби запобігання суїцидам та кризовій лінії, з’являвся непослідовно.

Незважаючи на ці висновки, дослідники не закликають повністю відмовлятися від цифрових асистентів на базі ШІ. Але рекомендують людям з симптомами, що наростають або викликають тривогу, — такими як біль у грудях, задишка, важкі алергічні реакції або зміни психічного стану — звертатися за медичною допомогою безпосередньо, а не покладатися виключно на поради чат-бота.

Закон і Бізнес