Аннотация:
Выполнен систематический обзор литературы с целью обобщения данных о точности и результативности применения алгоритмов искусственного интеллекта для выявления рассеянного склероза по результатам магнитно-резонансной томографии. В обзор включены 39 статей, авторами которых предложено большое количество соответствующих алгоритмов и математических моделей. Однако оценка качества таких разработок ограничена ретроспективным тестированием на повторяющихся наборах данных. Практически полностью отсутствуют результаты клинической апробации, нет проспективных независимых научных исследований точности и применимости. Довольно высокие уровни основных метрик (коэффициенты сходства, чувствительность, специфичность 7585[%]) нивелируются методическими ошибками при формировании исходных наборов данных, отсутствием валидации на независимых данных. В силу малых объёмов выборок и методических дефектов оценки точности результаты подавляющего большинства статей не отвечают критериям доказательности. В наиболее качественных, с методической точки зрения, исследованиях достигнута чувствительность алгоритмов 51,677,0[%], значение коэффициента ДайсаСёренсена 53,556,0[%]. Значение невысоки, но они свидетельствуют о потенциальной реализуемости задачи автоматизированного выявления признаков рассеянного склероза на магнитно-резонансных томограммах. Для дальнейшего развития автоматизированного анализа требуется разработка клинических сценариев применения, формирование методологии тестирования, проведение проспективных клинических апробаций.
<p>A systematic review was undertaken to summarize the data regarding accuracy and effectiveness of artificial intelligence algorithms for identifying MRI manifestations of multiple sclerosis. The review included 39 papers, whose authors put forth a multitude of corresponding algorithms and mathematical models. However, quality assessment of these developments was limited by retrospective testing on repeat data sets. Clinical test results were almost entirely absent, and there were no prospective independent studies of accuracy and applicability. The relatively high values obtained for the main measures (similarity, sensitivity and specificity coefficients, which were 7585[%]) were offset by the methodological errors when creating the baseline data sets, and lack of validation using independent data. Due to small sample sizes and methodological errors when measuring the result accuracy, most of the studies did not meet the criteria for evidence-based research. Studies with the highest methodological quality had algorithms that achieved a sensitivity of 51.677.0[%], with a SrensenDice coefficient of 53.556.0[%]. These numbers are not high, but they indicate that automatic identification of multiple sclerosis manifestations on magnetic resonance imaging may be achievable. Further development of computer-aided analysis requires the creation of clinical use scenarios and testing methodology, and prospective clinical testing.</p> Черняева Г.Н. Галина Николаевна г. Москвы «Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения Москвы»
Морозов С.П. Сергей Павлович г. Москвы «Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения Москвы»
Владзимирский А.В. Антон Вячеславович г. Москвы «Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения Москвы»; Первый Московский государственный медицинский университет им. И. М. Сеченова Минздрава России (Сеченовский Университет)
г. Москвы «Научно-практический КЦ диагностики и телемедицинских технологий Департамента здравоохранения Москвы»
Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department
Первый Московский государственный медицинский университет им. И. М. Сеченова Минздрава России (Сеченовский Университет)
I. M. Sechenov First Moscow State Medical University (Sechenov University)
Chernyaeva G.N. Galina N. Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department
Morozov S.P. Sergey P. Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department
Vladzimirskyy A.V. Anton V. Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; I. M. Sechenov First Moscow State Medical University (Sechenov University)
The quality of artificial intelligence algorithms for identifying manifestations of multiple sclerosis on magnetic resonance imaging (systematic review) eng
Качество алгоритмов искусственного интеллекта для выявления признаков рассеянного склероза на магнитно-резонансных томограммах (систематический обзор)
Текст визуальный электронный
Анналы клинической и экспериментальной неврологии
Research Center of Neurology
Т. 15, № 4 С. 54-65
2021
рассеянный склероз
multiple sclerosis
искусственный интеллект
artificial intelligence
машинное обучение
machine learning
магнитно-резонансная томография
magnetic resonance imaging
Статья
Обзор
Выполнен систематический обзор литературы с целью обобщения данных о точности и результативности применения алгоритмов искусственного интеллекта для выявления рассеянного склероза по результатам магнитно-резонансной томографии. В обзор включены 39 статей, авторами которых предложено большое количество соответствующих алгоритмов и математических моделей. Однако оценка качества таких разработок ограничена ретроспективным тестированием на повторяющихся наборах данных. Практически полностью отсутствуют результаты клинической апробации, нет проспективных независимых научных исследований точности и применимости. Довольно высокие уровни основных метрик (коэффициенты сходства, чувствительность, специфичность 7585[%]) нивелируются методическими ошибками при формировании исходных наборов данных, отсутствием валидации на независимых данных. В силу малых объёмов выборок и методических дефектов оценки точности результаты подавляющего большинства статей не отвечают критериям доказательности. В наиболее качественных, с методической точки зрения, исследованиях достигнута чувствительность алгоритмов 51,677,0[%], значение коэффициента ДайсаСёренсена 53,556,0[%]. Значение невысоки, но они свидетельствуют о потенциальной реализуемости задачи автоматизированного выявления признаков рассеянного склероза на магнитно-резонансных томограммах. Для дальнейшего развития автоматизированного анализа требуется разработка клинических сценариев применения, формирование методологии тестирования, проведение проспективных клинических апробаций.
<p>A systematic review was undertaken to summarize the data regarding accuracy and effectiveness of artificial intelligence algorithms for identifying MRI manifestations of multiple sclerosis. The review included 39 papers, whose authors put forth a multitude of corresponding algorithms and mathematical models. However, quality assessment of these developments was limited by retrospective testing on repeat data sets. Clinical test results were almost entirely absent, and there were no prospective independent studies of accuracy and applicability. The relatively high values obtained for the main measures (similarity, sensitivity and specificity coefficients, which were 7585[%]) were offset by the methodological errors when creating the baseline data sets, and lack of validation using independent data. Due to small sample sizes and methodological errors when measuring the result accuracy, most of the studies did not meet the criteria for evidence-based research. Studies with the highest methodological quality had algorithms that achieved a sensitivity of 51.677.0[%], with a SrensenDice coefficient of 53.556.0[%]. These numbers are not high, but they indicate that automatic identification of multiple sclerosis manifestations on magnetic resonance imaging may be achievable. Further development of computer-aided analysis requires the creation of clinical use scenarios and testing methodology, and prospective clinical testing.</p>