Способен ли ИИ давать правильные медицинские рекомендации — исследование

По данным OpenAI, каждую неделю более 230 млн человек обращаются к ChatGPT за медицинскими советами — от проверки, можно ли есть тот или иной продукт, до поиска средств от простуды. Насколько «безопасны» советы ИИ?

Как показало исследование, опубликованное в журнале Nature, специализированная версия ChatGPT Health в ряде серьезных ситуаций не рекомендовала обращение за неотложной помощью, хотя хорошо справлялась с типичными клиническими примерами, пишет «Закон и Бизнес».

Авторы выяснили, что, хотя модель в целом правильно распознавала очевидные неотложные состояния, она недооценила более половины случаев, где требовалась экстренная медицинская помощь.

«Мы хотели ответить на очень простой, но принципиальный вопрос: если у человека развивается настоящее неотложное состояние и он обращается за помощью к ChatGPT Health, скажет ли система ему однозначно, что нужно ехать в отделение неотложной помощи?» — рассказал Euronews ведущий автор работы из медицинского центра Mount Sinai в Нью-Йорке Ашвин Рамасвами.

Исследовательская группа составила 60 структурированных клинических сценариев по 21 медицинской специальности — от легких состояний, которые можно лечить дома, до настоящих неотложных ситуаций. Три независимых врача определили правильный уровень срочности для каждого случая, опираясь на рекомендации 56 профессиональных медицинских обществ.

Оказалось, что ИИ хорошо справлялся с «учебными» неотложными ситуациями, такими как инсульт или тяжелые аллергические реакции. Но гораздо сложнее для ChatGPT Health были ситуации, где опасность неочевидна с первого взгляда.

Так, в одном из сценариев, связанных с приступом астмы, система распознала ранние признаки дыхательной недостаточности, но при этом все равно рекомендовала подождать, а не обращаться за неотложной помощью.

В исследовании также оценивали, как модель реагирует на сообщения пользователей о намерении причинить себе вред, и получили схожие результаты.

Считается, что ChatGPT Health запрограммирован таким образом, чтобы при любых упоминаниях самоповреждения или суицидальных мыслей он прямо призывал человека обратиться за помощью и позвонить на линию экстренной психологической помощи. Но во время исследования баннер «Help is available», ведущий на сайт службы предотвращения суицидов и кризисной линии, появлялся непоследовательно.

Несмотря на эти выводы, исследователи не призывают полностью отказываться от цифровых медицинских ассистентов на базе ИИ. Но рекомендуют людям с нарастающими или вызывающими тревогу симптомами — такими как боль в груди, одышка, тяжелые аллергические реакции или изменения психического состояния — обращаться за медицинской помощью напрямую, а не полагаться исключительно на советы чат-бота.

Закон і Бізнес