Исследование: искусственный интеллект справляется с постановкой диагнозов хуже, чем практикующие врачи
В издании Nature Medicine опубликовано исследование ученых из США, Германии и Великобритании, посвященное оценке точности постановки диагноза большими языковыми моделями (LLM) и изучению возможности внедрения таких технологий в систему здравоохранения.
Авторы оценили возможности LLM в работе с базой, содержащей 2,4 тысячи случаев пациентов с аппендицитом, панкреатитом, холециститом и дивертикулитом. Исследователи пришли к выводу: рассматриваемый вид ИИ выставляет диагнозы с низкой точностью. Кроме того, ученые отмечают сложности интеграции: LLM часто нарушают инструкции, чувствительны к количеству и порядку предоставляемых для анализа данных.
Исследователи поясняют, что перед LLM (Llama 2, Clinical Came, Meditron) стояла задача проанализировать анамнез, поставить диагноз и составить схему лечения. ИИ получил данные физикальной диагностики, лабораторных исследований, отчетов о визуализациях.
Ученые оценивали точность интерпретаций ИИ, верность выводов, соблюдение диагностических и лечебных рекомендаций, способность следовать заданным инструкциям. Решения LLM сравнивали с результатами клиницистов.
Как показали результаты исследования, «машина» существенно уступает практикующим врачам. LLM обработали 80 диагнозов, и наибольшее количество ошибок допустили при определении холецистита и дивертикулита: если верность диагнозов ИИ варьировалась от 13% до 68%, то точность определения медиками названных диагнозов составила от 84% до 86%.
Выяснено, что с точностью врачебных решений LLM успешно конкурируют только при выявлении аппендицита: некоторые языковые модели показали лучший результат, чем клиницисты – на 3-4%. Авторы отмечают, что на сегодняшний день LLM не имеют «диагностического диапазона» в отличие от медиков.
Также исследователи установили, что ИИ часто не учитывает предписанные диагностические рекомендации для назначения обследований, нередко игнорируют содержание клинических протоколов, а также неточно интерпретируют результаты лабораторных исследований.
Кроме того, тестируя ИИ на способность следовать инструкциям, подбирать и компилировать информацию для упрощения работы врачей, авторы выявили, что LLM ошибается в алгоритмах в 25-50% случаев, а в 20% предлагает применить существующие методы. Также при несущественном изменении формулировки запроса результаты отличались.
Если предоставить ИИ доступ к большому количеству анализов, точность снижается. Наилучшие результаты языковые модели демонстрируют при предоставлении лишь определенного списка обследований.
Авторы подчеркнули, что ранее возможности искусственного интеллекта в медицине оценивались в достаточно простых медицинских контекстах – в таких случаях LLM демонстрировали лучшие результаты в сравнении с клиницистами.
Ни сегодня, ни в ближайшем будущем языковые модели не в состоянии стать заменой практикующему специалисту, однако, по мере технологического развития области ИИ может стать прекрасным помощником, облегчающим работу врача и высвобождающим самое ценное – время.
Будьте в курсе ключевых новостей из сферы восстановительной медицины – подпишитесь на Telegram-канал REAMED!
ещё новости
Пример комплексного оснащения реабилитационного центра.
Регистрация стартовала. Количество мест ограничено!
Теперь воспитанникам спортивной школы олимпийского резерва доступны системы нейрофизического тренинга для расширения функциональных возможностей.
Депутат Госдумы Ксения Горячева от фракции «Новые люди» направила обращение руководителю Минздрава Михаилу Мурашко и главе Минтруда Антону Котякову с просьбой разъяснить целесообразность прохождения процедуры переосвидетельствования инвалидами, у которых ампутированы конечности.
Расходы планируется покрывать за счет субсидий на выполнение государственного задания.
Курс восстановительных процедур после возвращения со специальной военной операции уже прошли больше 120 человек. В 2025 году программа реабилитация участников СВО на базе санатория «Решма» продолжится.
Эксклюзивно в телеграм-канале и ВКонтакте REAMED: ценные методические материалы, обзоры оборудования, новости сферы реабилитации и многое другое.
Для его создания планируется реорганизовать пространство реабилитационного корпуса, где уже работает два отделения: стационарное и для больных после инсульта и ЧМТ.
Навигатор представляет собой базу учреждений, куда можно обратиться за помощью для восстановления после заболевания.
Вице-спикер Госдумы Ирина Яровая подготовила законопроект о типовой общефедеральной программе физкультурной, спортивной и оздоровительной работы в детских лагерях.
