Исследователи взяли базу данных из проекта «Московский скрининг рака легких» и обратились ко всем компаниям на выставке ECR 2019, которые утверждали, что у них есть готовая к продаже нейронная сеть для обнаружения очагов в легких по данным КТ грудной клетки. Цель состояла в том, чтобы сравнить результаты работы таких программ с реальными случаями.
«Искусственный интеллект в радиологии - популярная и, возможно, чрезмерно обсуждаемая тема. Каждая компания обещает нам Святой Грааль, но насколько это правда?» - рассказывает AuntMinnieEurope.com к.м.н. Виктор Гомболевский.
«Поскольку базы данных, на которых обучают и тестируют алгоритмы ИИ, различные, то это влияет на результаты работы каждой такой программы и, соответственно, влияет на заявления компаний об успехах разработанных ИИ, которым предполагается верить на слово. Мы хотели протестировать различные программы на одном и том же наборе данных для проведения максимально приближенного к реальности сравнения».
Выборка состояла из 100 анонимных низкодозных КТ грудной клетки. Команда считает, что скрининг рака легких с эффективной дозой менее 1 мЗв может снизить долгосрочные риски. База данных включала как верифицированные случаи рака легких, так и доброкачественные исследования, которые имели последующее скрининговое НДКТ наблюдение через >600 дней, что указывает на небольшую вероятность возникновения рака в первом исследовании.
Исследователи провели аналогичный эксперимент на ECR 2018 по четырем ультра-НДКТ с очагами в легких. Они обнаружили, что решения на основе ИИ сработали с ультра-низкодозными КТ грудной клетки и выявили очаги у пациентов весом до 125 кг. Целью было автоматическое обнаружение узелков размером более 4 мм без ложноположительных результатов в следующих случаях:
- Сканирование без итеративной реконструкции с очагами в легких.
- Сканирование без итеративной реконструкции с тяжелой эмфиземой и очагами в легких.
- Сканирование с итеративной реконструкцией, тяжелой эмфиземой и очагами в легких.
- Сканирование без итеративной реконструкции у пациента с избыточным весом (125 кг) с одним очагом в легких.
Однако, по словам Виктора Гомболевского, для второго проекта было важно протестировать больший набор данных, чтобы оценить основанные на искусственном интеллекте решения при обнаружении как доброкачественных, так и злокачественных легочных узелков с различной морфологией. В этот раз исследовательская группа была более значительной, в нее вошел директор Центра, профессор Сергей Морозов, д.м.н, который недавно издал книгу «Искусственный интеллект в медицинской визуализации» (совместно с докторами наук Эриком Рэншертом и доктором Полом Алгра). Также команду поддержали доктор Иван Блохин и доктор Валерия Чернина. Исследователи использовали три жестких диска чтобы протестировать большое число разработчиков. Основная идея заключалась в том, что некоторые из них преувеличили бы свои возможности, в то время как другие не знали бы о своих достижениях или потенциале.
| В поисках Святого Грааля ИИ: решения, которые работают. На фото российская команда, которая протестировала 12 решений от поставщиков на ECR 2019, и которая планирует запустить аналогичный проект на RSNA 2019. |
В общей сложности 12 компаний ответили на российский вызов на ECR 2019. Шесть из них согласились протестировать свои решения с московским набором данных, и, хотя данные все еще обрабатываются, по крайней мере две компании показали то, что обещали, согласно исследователям.
«По сравнению с прошлогодним AI Runner (ECR 2018), некоторые решения работали не очень хорошо из-за ложноотрицательных или ложноположительных результатов», - отметил Виктор Гомболевский. - «Мы считаем, что результаты свидетельствуют о смещении наборов обучающих данных. Мы продолжим статистический анализ».
Во втором AI Runner команда наблюдала следующее:
- Все компании можно было разделить на три категории: небольшие компании, заинтересованные в тестировании для получения признания, средние компании, желающие предоставить пробный доступ к своим платформам, и, наконец, крупные игроки, которые отказались из-за ограничений программы на стенде или проблем безопасности.
- Иногда один и тот же продукт использовался на разных стендах, и члены команды переходили от одного стенда к другому.
- Немногие компании были готовы проанализировать набор данных на месте, и многие выразили свое удивление при виде внешнего жесткого диска, содержащего набор данных (Dataset).
- Все были очень удивлены, узнав о проекте «Московский скрининга рака легкого», который уже включает 11 000 участников и поликлиники, подключенные к Единому Радиологическому Информационному Сервису.
- Решения на основе ИИ были представлены на протяжении всей выставки, а не сфокусированы в одном месте.
- Некоторые стенды были переполнены или на них были представлены другие методы компьютерных исследований (CAD), таких как маммография.
Проект AI Runner был запущен в 2017 году вместе с пилотным проектом скрининга рака легкого с помощью ультра-низкодозной КТ. Перед исследованием стояло несколько вопросов, первоначальный программа должна была выяснить, как шум на изображениях влияет на ИИ.
«Наши сканы, как правило, имеют более высокий уровень шума по сравнению с обычными КТ с низкими дозами, используемыми в США и Европе», - сказал Гомболевский. «Поэтому нам было любопытно, как уровни шума на изображении могут повлиять на алгоритмы на основе ИИ».
Совсем недавно появились и другие области, представляющие интерес: в 2018 году Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) снизило требования к лицензированию CAD-решений. Исследователи полагают, что за этим последует новая волна готовых к продаже продуктов, одобренных FDA. Возможности таких алгоритмов могут быть переоценены и будут вводить в заблуждение как исследователей, так и потенциальных конечных пользователей. Имея это в виду, команда хотела уточнить емкость и производительность различных систем. Исследователи подчеркнули, что они также надеются повысить осведомленность о том, что производительность продукта будет зависеть от нюансов обучающих баз данных.
«Мы считаем, что сравнительное тестирование с единой базой данных даст достоверные результаты и поможет разработчикам», - сказал Виктор Гомболевский. - «Мы хотим, чтобы потенциальные покупатели имели больше информации, прежде чем приобретать для своей практики алгоритм на основе ИИ. Мы также будем предоставлять обратную связь разработчикам для повышения точности их решений».
Победители проекта обязательно будут названы. На основании полученных данных, команда планирует опубликовать рукопись. Исследователи планируют провести третий проект AI Runner на RSNA 2019.
Оригинал статьи по ссылке