Аннотация:
<strong>ОБОСНОВАНИЕ.</strong> Применение искусственного интеллекта (ИИ) для обработки медицинских данных ― перспективное, активно развивающееся направление [1]. Однако в данной области существует проблема стандартизации методологии ― как проведения самих исследований, так и оформления их результатов. В частности, существует потребность оценки методологического качества, ключевым показателем которого является вероятность намеренного или случайного привнесения систематических ошибок (bias) в результаты исследования. Существующий инструмент оценки (QUADAS-2) [2] ориентирован на медицинский тип исследований, что затрудняет его использование для оценки работ, посвящённых теме ИИ [3].
<strong>ЦЕЛЬ</strong> ― модификация существующей системы оценки методологического качества QUADAS-2 для анализа исследований диагностической точности алгоритмов ИИ.
<strong>МЕТОДЫ.</strong> Для каждого домена системы QUADAS-2 (patient selection, index test, reference standard, flow and timing) проведена оценка информативности сигнальных вопросов, предложена адаптация или замена низкоинформативных формулировок.
<strong>РЕЗУЛЬТАТЫ.</strong> Для всех доменов исходной системы QUADAS-2 предложены правки. Вопросы домена patient selection, посвящённые формированию выборки пациентов, модифицированы с целью оценки сбалансированности набора данных по критериям наличия и вариабельности (степени тяжести) заболевания. Для домена index test вопрос о предварительно заданном граничном значении представлен в двух вариантах: для патологии и для ответа ИИ, так как алгоритмы могут использовать вероятностный порог принятия решения. Кроме того, в домен включены вопросы обоснованности размера и отсутствия пересечений (в том числе качественных) обучающей и тестовой выборок. В домене reference test один из вопросов адаптирован для оценки качества подготовки референтных данных. Домен flow and timing пересмотрен с позиций единообразия условий обработки данных, включён вопрос о типе исследования по источнику исходных данных. Разработанная версия QUADAS-CAD апробирована в рамках работы над систематическим обзором Диагностическая точность ИИ-алгоритмов обработки КТ для оппортунистического скрининга аневризмы брюшной аорты.
<strong>ЗАКЛЮЧЕНИЕ.</strong> Использование модифицированной системы QUADAS-CAD повысило эффективность оценки методологического качества в рамках систематического обзора исследований диагностической точности ИИ. Представленные результаты могут быть полезны для задач систематизации и анализа данного типа исследований.
[1]Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы; Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)
[2]Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы; Первый Московский государственный медицинский университет им. И. М. Сеченова
[3]Российская медицинская академия непрерывного профессионального образования
Коденко М.Р. Мария Романовна Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы; Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)
Решетников Р.В. Роман Владимирович Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы; Первый Московский государственный медицинский университет им. И. М. Сеченова
Макарова Т.А. Российская медицинская академия непрерывного профессионального образования
Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы
Moscow Center for Diagnostics and Telemedicine
Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)
Bauman Moscow state technical university
Первый Московский государственный медицинский университет им. И. М. Сеченова
Moscow Medical Academy of I. M. Sechenov
Российская медицинская академия непрерывного профессионального образования
Kodenko M.R. Maria R. Moscow Center for Diagnostics and Telemedicine; Bauman Moscow state technical university
Reshetnikov R.V. Roman V. Moscow Center for Diagnostics and Telemedicine; Moscow Medical Academy of I. M. Sechenov
Makarova T.A.
Modification of quality assessment tool for artificial intelligence diagnostic test accuracy studies (QUADAS-CAD) eng
Инструмент оценки качества исследований диагностической точности алгоритмов искусственного интеллекта (QUADAS-CAD)
Текст визуальный электронный
Digital Diagnostics
Eco-Vector
Т. 3, № 1S С. 4-5
2022
диагностическая точность
diagnostic accuracy
诊断准确度。
искусственный интеллект
artificial intelligence
цифровизация здравоохранения
digitalization of healthcare
QUADAS
Статья
<strong>ОБОСНОВАНИЕ.</strong> Применение искусственного интеллекта (ИИ) для обработки медицинских данных ― перспективное, активно развивающееся направление [1]. Однако в данной области существует проблема стандартизации методологии ― как проведения самих исследований, так и оформления их результатов. В частности, существует потребность оценки методологического качества, ключевым показателем которого является вероятность намеренного или случайного привнесения систематических ошибок (bias) в результаты исследования. Существующий инструмент оценки (QUADAS-2) [2] ориентирован на медицинский тип исследований, что затрудняет его использование для оценки работ, посвящённых теме ИИ [3].
<strong>ЦЕЛЬ</strong> ― модификация существующей системы оценки методологического качества QUADAS-2 для анализа исследований диагностической точности алгоритмов ИИ.
<strong>МЕТОДЫ.</strong> Для каждого домена системы QUADAS-2 (patient selection, index test, reference standard, flow and timing) проведена оценка информативности сигнальных вопросов, предложена адаптация или замена низкоинформативных формулировок.
<strong>РЕЗУЛЬТАТЫ.</strong> Для всех доменов исходной системы QUADAS-2 предложены правки. Вопросы домена patient selection, посвящённые формированию выборки пациентов, модифицированы с целью оценки сбалансированности набора данных по критериям наличия и вариабельности (степени тяжести) заболевания. Для домена index test вопрос о предварительно заданном граничном значении представлен в двух вариантах: для патологии и для ответа ИИ, так как алгоритмы могут использовать вероятностный порог принятия решения. Кроме того, в домен включены вопросы обоснованности размера и отсутствия пересечений (в том числе качественных) обучающей и тестовой выборок. В домене reference test один из вопросов адаптирован для оценки качества подготовки референтных данных. Домен flow and timing пересмотрен с позиций единообразия условий обработки данных, включён вопрос о типе исследования по источнику исходных данных. Разработанная версия QUADAS-CAD апробирована в рамках работы над систематическим обзором Диагностическая точность ИИ-алгоритмов обработки КТ для оппортунистического скрининга аневризмы брюшной аорты.
<strong>ЗАКЛЮЧЕНИЕ.</strong> Использование модифицированной системы QUADAS-CAD повысило эффективность оценки методологического качества в рамках систематического обзора исследований диагностической точности ИИ. Представленные результаты могут быть полезны для задач систематизации и анализа данного типа исследований.