Материалы доступны только для специалистов сферы здравоохранения. Авторизуйтесь или зарегистрируйтесь.
Применение методов интерпретации нейронных сетей для анализа гистологических изображений патологических процессов молочной железы
Применение методов интерпретации нейронных сетей для анализа гистологических изображений патологических процессов молочной железы
Фомина А.В., Борбат А.М., Карпулевич Е.А., Наумов А.Ю. Применение методов интерпретации нейронных сетей для анализа гистологических изображений патологических процессов молочной железы. Гинекология. 2022;24(6):529–537. DOI: 10.26442/20795696.2022.6.201990
© ООО «КОНСИЛИУМ МЕДИКУМ», 2022 г.
DOI: 10.26442/20795696.2022.6.201990
© ООО «КОНСИЛИУМ МЕДИКУМ», 2022 г.
________________________________________________
DOI: 10.26442/20795696.2022.6.201990
Материалы доступны только для специалистов сферы здравоохранения. Авторизуйтесь или зарегистрируйтесь.
Аннотация
Обоснование. Нейронные сети активно используются в цифровой патологии для анализа гистологических снимков и поддержки принятия врачебных решений. Популярным подходом является решение задачи классификации, где в качестве ответов модели выдают только метки классов. Однако полезно понимать, какие области изображения сильнее всего влияют на ответ модели. Эту проблему помогают решить методы интерпретации машинного обучения.
Цель. Выяснить, насколько согласованы друг с другом разные методы интерпретации нейронных сетей в задаче классификации гистологических изображений молочной железы, и получить экспертную оценку результатов исследуемых методов.
Материалы и методы. Проведены предварительный анализ и предобработка имеющегося набора данных, на которых обучены заранее выбранные нейросетевые модели. Применены существующие методы визуализации областей внимания обученных моделей на простых для понимания данных, после чего стало возможным убедиться в правильности их использования. Те же нейросетевые модели обучены на гистологических данных, и выбранные методы интерпретации применены к задаче классификации гистологических изображений, после чего получена оценка согласованности результатов использованных методов между собой и экспертная оценка результатов.
Результаты. В данной работе исследовано несколько методов интерпретации машинного обучения на примере двух различных архитектур нейронных сетей и наборе гистологических изображений патологических процессов молочной железы. Результаты обучения моделей ResNet18 и ViT-B-16 на наборе гистологических изображений на тестовой выборке: метрика Accuracy 0,89 и 0,89, метрика ROC_AUC 0,99 и 0,96 соответственно. Оценка полученных результатов проводилась экспертом при помощи инструмента Label Studio. Для каждой пары картинок эксперту предлагалось выбрать один наиболее подходящий, по его мнению, ответ – «да» или «нет» – на вопрос «Соответствует ли большинство выделенных областей классу Malignant?». Доля ответов «да» для категории ResNet_Malignant – 0,56; для ViT_Malignant – 1,0.
Заключение. Проведены эксперименты по интерпретируемости с двумя различными архитектурами: сверточной сетью ResNet18 и сетью с механизмом внимания ViT-B-16. Результаты обученных моделей визуализированы с помощью методов GradCAM и Attention Rollout соответственно. Сначала эксперименты проведены на простом для интерпретации наборе данных с целью убедиться в правильности их использования. Затем методы применены к набору гистологических изображений. На простых для понимания снимках (изображениях котов) сверточная сеть больше согласована с восприятием человека, а на гистологических изображениях рака молочной железы – наоборот, ViT-B-16 дал сильно более близкие к восприятию эксперта результаты.
Ключевые слова: цифровая патология, интерпретируемость, нейронная сеть
Aim. To study the consistency of different methods of neural network interpretation when classifying histological images of the breast and to obtain an expert assessment of the results of the evaluated methods.
Materials and methods. We performed a preliminary analysis and pre-processing of the existing data set used to train pre-selected neural network models. The existing methods of visualizing the areas of attention of trained models on easy-to-understand data were applied, followed by verification of their correct use. The same neural network models were trained on histological data, and the selected interpretation methods were used to systematize histological images, followed by the evaluation of the results consistency and an expert assessment of the results.
Results. In this paper, several methods of interpreting machine learning are studied using two different neural network architectures and a set of histological images of breast abnormalities. Results of ResNet18 and ViT-B-16 models training on a set of histological images on the test sample: accuracy metric 0.89 and 0.89, ROC_AUC metric 0.99 and 0.96, respectively. The results were also evaluated by an expert using the Label Studio tool. For each pair of images, the expert was asked to select the most appropriate answer ("Yes" or "No") to the question: "The highlighted areas generally correspond to the Malignant class." The "Yes" response rate for the ResNet_Malignant category was 0.56; for ViT_Malignant, it was 1.0.
Conclusion. Interpretability experiments were conducted with two different architectures: the ResNet18 convolutional network and the ViT-B-16 attention-enhanced network. The results of the trained models were visualized using the GradCAM and Attention Rollout methods, respectively. First, experiments were conducted on a simple-to-interpret dataset to ensure they were used correctly. The methods are then applied to the set of histological images. In easy-to-understand images (cat images), the convolutional network is more consistent with human perception; on the contrary, in histological images of breast cancer, ViT-B-16 provided results much more similar to the expert's perception.
Keywords: digital pathology, interpretability, neural network
Цель. Выяснить, насколько согласованы друг с другом разные методы интерпретации нейронных сетей в задаче классификации гистологических изображений молочной железы, и получить экспертную оценку результатов исследуемых методов.
Материалы и методы. Проведены предварительный анализ и предобработка имеющегося набора данных, на которых обучены заранее выбранные нейросетевые модели. Применены существующие методы визуализации областей внимания обученных моделей на простых для понимания данных, после чего стало возможным убедиться в правильности их использования. Те же нейросетевые модели обучены на гистологических данных, и выбранные методы интерпретации применены к задаче классификации гистологических изображений, после чего получена оценка согласованности результатов использованных методов между собой и экспертная оценка результатов.
Результаты. В данной работе исследовано несколько методов интерпретации машинного обучения на примере двух различных архитектур нейронных сетей и наборе гистологических изображений патологических процессов молочной железы. Результаты обучения моделей ResNet18 и ViT-B-16 на наборе гистологических изображений на тестовой выборке: метрика Accuracy 0,89 и 0,89, метрика ROC_AUC 0,99 и 0,96 соответственно. Оценка полученных результатов проводилась экспертом при помощи инструмента Label Studio. Для каждой пары картинок эксперту предлагалось выбрать один наиболее подходящий, по его мнению, ответ – «да» или «нет» – на вопрос «Соответствует ли большинство выделенных областей классу Malignant?». Доля ответов «да» для категории ResNet_Malignant – 0,56; для ViT_Malignant – 1,0.
Заключение. Проведены эксперименты по интерпретируемости с двумя различными архитектурами: сверточной сетью ResNet18 и сетью с механизмом внимания ViT-B-16. Результаты обученных моделей визуализированы с помощью методов GradCAM и Attention Rollout соответственно. Сначала эксперименты проведены на простом для интерпретации наборе данных с целью убедиться в правильности их использования. Затем методы применены к набору гистологических изображений. На простых для понимания снимках (изображениях котов) сверточная сеть больше согласована с восприятием человека, а на гистологических изображениях рака молочной железы – наоборот, ViT-B-16 дал сильно более близкие к восприятию эксперта результаты.
Ключевые слова: цифровая патология, интерпретируемость, нейронная сеть
________________________________________________
Aim. To study the consistency of different methods of neural network interpretation when classifying histological images of the breast and to obtain an expert assessment of the results of the evaluated methods.
Materials and methods. We performed a preliminary analysis and pre-processing of the existing data set used to train pre-selected neural network models. The existing methods of visualizing the areas of attention of trained models on easy-to-understand data were applied, followed by verification of their correct use. The same neural network models were trained on histological data, and the selected interpretation methods were used to systematize histological images, followed by the evaluation of the results consistency and an expert assessment of the results.
Results. In this paper, several methods of interpreting machine learning are studied using two different neural network architectures and a set of histological images of breast abnormalities. Results of ResNet18 and ViT-B-16 models training on a set of histological images on the test sample: accuracy metric 0.89 and 0.89, ROC_AUC metric 0.99 and 0.96, respectively. The results were also evaluated by an expert using the Label Studio tool. For each pair of images, the expert was asked to select the most appropriate answer ("Yes" or "No") to the question: "The highlighted areas generally correspond to the Malignant class." The "Yes" response rate for the ResNet_Malignant category was 0.56; for ViT_Malignant, it was 1.0.
Conclusion. Interpretability experiments were conducted with two different architectures: the ResNet18 convolutional network and the ViT-B-16 attention-enhanced network. The results of the trained models were visualized using the GradCAM and Attention Rollout methods, respectively. First, experiments were conducted on a simple-to-interpret dataset to ensure they were used correctly. The methods are then applied to the set of histological images. In easy-to-understand images (cat images), the convolutional network is more consistent with human perception; on the contrary, in histological images of breast cancer, ViT-B-16 provided results much more similar to the expert's perception.
Keywords: digital pathology, interpretability, neural network
Полный текст
Список литературы
1. Hou L, Samaras D, Kurc TM, et al. Patch-based convolutional neural network for whole slide tissue image classification. arXiv. 2016;1504.07947.
2. O'Shea K, Nash R. An introduction to convolutional neural networks. arXiv. 2015;1511.08458.
3. ROBINVC. Popular ML/NN/CNN/RNN Model code snippets. Available at: https://www.kaggle.com/code/nsff591/popular-ml-nn-cnn-rnn-model-code-snippets/notebook. Accessed: 9.11.2022.
4. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. arXiv. 2015;1512.03385.
5. Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need. arXiv. 2017;1706.03762.
6. Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv. 2021;2010.11929.
7. Selvaraju RR, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. arXiv. 2019;1610.02391.
8. Abnar S, Zuidema W. Quantifying attention flow in transformers. arXiv. 2020;2005.00928.
9. Xie P, Zuo K, Zhang Y, et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study. arXiv. 2019;1904.06156.
10. Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization. arXiv. 2015;1512.04150.
11. Srivastava A, Kulkarni C, Huang K, et al. Imitating pathologist based assessment with interpretable and context based neural network modeling of histology images. Biomed Inform Insights. 2018;10:1178222618807481.
12. Thennavan A, Beca F, Xia Y, et al. Molecular analysis of TCGA breast cancer histologic types. Cell Genom. 2021;1(3):100067.
13. Борбат А.М., Лищук С.В. Первый российский набор данных гистологических изображений патологических процессов молочной железы. Врач и информационные технологии. 2020;3:25-30 [Borbat AM, Lishchuk SV. The first russian breast pathology histologic images data set. Vrach i informatsionnie tekhnologii. 2020;3:25-30 (in Russian)].
14. Golle P. Machine learning attacks against the Asirra CAPTCHA. Proceedings of the 15th ACM conference on Computer and communications security. 2008:535-42.
15. Bitton A, Esling P. ATIAM 2018-ML Project Regularized auto-encoders (VAE/WAEs) applied to latent audio synthesis. Available at: https://esling.github.io/documents/mlProj_bitton.pdf. Accessed: 9.11.2022.
16. Wang L, Wu Z, Karanam S, et al. Reducing visual confusion with discriminative attention. arXiv. 2019;1811.07484.
17. Abadi M, Agarwal A, Barham P, et al. TensorFlow: Large-scale machine learning on heterogeneous systems. arXiv. 2016;1603.04467.
18. Gildenblat J. Class Activation Map methods implemented in Pytorch. Available at: https://github.com/jacobgil/pytorch-grad-cam. Accessed: 9.11.2022.
19. Gildenblat J. Explainability for Vision Transformers (in PyTorch). Available at: https://github.com/jacobgil/vit-explain. Accessed: 9.11.2022.
2. O'Shea K, Nash R. An introduction to convolutional neural networks. arXiv. 2015;1511.08458.
3. ROBINVC. Popular ML/NN/CNN/RNN Model code snippets. Available at: https://www.kaggle.com/code/nsff591/popular-ml-nn-cnn-rnn-model-code-snippets/notebook. Accessed: 9.11.2022.
4. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. arXiv. 2015;1512.03385.
5. Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need. arXiv. 2017;1706.03762.
6. Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv. 2021;2010.11929.
7. Selvaraju RR, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. arXiv. 2019;1610.02391.
8. Abnar S, Zuidema W. Quantifying attention flow in transformers. arXiv. 2020;2005.00928.
9. Xie P, Zuo K, Zhang Y, et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study. arXiv. 2019;1904.06156.
10. Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization. arXiv. 2015;1512.04150.
11. Srivastava A, Kulkarni C, Huang K, et al. Imitating pathologist based assessment with interpretable and context based neural network modeling of histology images. Biomed Inform Insights. 2018;10:1178222618807481.
12. Thennavan A, Beca F, Xia Y, et al. Molecular analysis of TCGA breast cancer histologic types. Cell Genom. 2021;1(3):100067.
13. Borbat AM, Lishchuk SV. The first russian breast pathology histologic images data set. Vrach i informatsionnie tekhnologii. 2020;3:25-30 (in Russian).
14. Golle P. Machine learning attacks against the Asirra CAPTCHA. Proceedings of the 15th ACM conference on Computer and communications security. 2008:535-42.
15. Bitton A, Esling P. ATIAM 2018-ML Project Regularized auto-encoders (VAE/WAEs) applied to latent audio synthesis. Available at: https://esling.github.io/documents/mlProj_bitton.pdf. Accessed: 9.11.2022.
16. Wang L, Wu Z, Karanam S, et al. Reducing visual confusion with discriminative attention. arXiv. 2019;1811.07484.
17. Abadi M, Agarwal A, Barham P, et al. TensorFlow: Large-scale machine learning on heterogeneous systems. arXiv. 2016;1603.04467.
18. Gildenblat J. Class Activation Map methods implemented in Pytorch. Available at: https://github.com/jacobgil/pytorch-grad-cam. Accessed: 9.11.2022.
19. Gildenblat J. Explainability for Vision Transformers (in PyTorch). Available at: https://github.com/jacobgil/vit-explain. Accessed: 9.11.2022.
2. O'Shea K, Nash R. An introduction to convolutional neural networks. arXiv. 2015;1511.08458.
3. ROBINVC. Popular ML/NN/CNN/RNN Model code snippets. Available at: https://www.kaggle.com/code/nsff591/popular-ml-nn-cnn-rnn-model-code-snippets/notebook. Accessed: 9.11.2022.
4. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. arXiv. 2015;1512.03385.
5. Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need. arXiv. 2017;1706.03762.
6. Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv. 2021;2010.11929.
7. Selvaraju RR, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. arXiv. 2019;1610.02391.
8. Abnar S, Zuidema W. Quantifying attention flow in transformers. arXiv. 2020;2005.00928.
9. Xie P, Zuo K, Zhang Y, et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study. arXiv. 2019;1904.06156.
10. Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization. arXiv. 2015;1512.04150.
11. Srivastava A, Kulkarni C, Huang K, et al. Imitating pathologist based assessment with interpretable and context based neural network modeling of histology images. Biomed Inform Insights. 2018;10:1178222618807481.
12. Thennavan A, Beca F, Xia Y, et al. Molecular analysis of TCGA breast cancer histologic types. Cell Genom. 2021;1(3):100067.
13. Борбат А.М., Лищук С.В. Первый российский набор данных гистологических изображений патологических процессов молочной железы. Врач и информационные технологии. 2020;3:25-30 [Borbat AM, Lishchuk SV. The first russian breast pathology histologic images data set. Vrach i informatsionnie tekhnologii. 2020;3:25-30 (in Russian)].
14. Golle P. Machine learning attacks against the Asirra CAPTCHA. Proceedings of the 15th ACM conference on Computer and communications security. 2008:535-42.
15. Bitton A, Esling P. ATIAM 2018-ML Project Regularized auto-encoders (VAE/WAEs) applied to latent audio synthesis. Available at: https://esling.github.io/documents/mlProj_bitton.pdf. Accessed: 9.11.2022.
16. Wang L, Wu Z, Karanam S, et al. Reducing visual confusion with discriminative attention. arXiv. 2019;1811.07484.
17. Abadi M, Agarwal A, Barham P, et al. TensorFlow: Large-scale machine learning on heterogeneous systems. arXiv. 2016;1603.04467.
18. Gildenblat J. Class Activation Map methods implemented in Pytorch. Available at: https://github.com/jacobgil/pytorch-grad-cam. Accessed: 9.11.2022.
19. Gildenblat J. Explainability for Vision Transformers (in PyTorch). Available at: https://github.com/jacobgil/vit-explain. Accessed: 9.11.2022.
________________________________________________
2. O'Shea K, Nash R. An introduction to convolutional neural networks. arXiv. 2015;1511.08458.
3. ROBINVC. Popular ML/NN/CNN/RNN Model code snippets. Available at: https://www.kaggle.com/code/nsff591/popular-ml-nn-cnn-rnn-model-code-snippets/notebook. Accessed: 9.11.2022.
4. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. arXiv. 2015;1512.03385.
5. Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need. arXiv. 2017;1706.03762.
6. Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv. 2021;2010.11929.
7. Selvaraju RR, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. arXiv. 2019;1610.02391.
8. Abnar S, Zuidema W. Quantifying attention flow in transformers. arXiv. 2020;2005.00928.
9. Xie P, Zuo K, Zhang Y, et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study. arXiv. 2019;1904.06156.
10. Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization. arXiv. 2015;1512.04150.
11. Srivastava A, Kulkarni C, Huang K, et al. Imitating pathologist based assessment with interpretable and context based neural network modeling of histology images. Biomed Inform Insights. 2018;10:1178222618807481.
12. Thennavan A, Beca F, Xia Y, et al. Molecular analysis of TCGA breast cancer histologic types. Cell Genom. 2021;1(3):100067.
13. Borbat AM, Lishchuk SV. The first russian breast pathology histologic images data set. Vrach i informatsionnie tekhnologii. 2020;3:25-30 (in Russian).
14. Golle P. Machine learning attacks against the Asirra CAPTCHA. Proceedings of the 15th ACM conference on Computer and communications security. 2008:535-42.
15. Bitton A, Esling P. ATIAM 2018-ML Project Regularized auto-encoders (VAE/WAEs) applied to latent audio synthesis. Available at: https://esling.github.io/documents/mlProj_bitton.pdf. Accessed: 9.11.2022.
16. Wang L, Wu Z, Karanam S, et al. Reducing visual confusion with discriminative attention. arXiv. 2019;1811.07484.
17. Abadi M, Agarwal A, Barham P, et al. TensorFlow: Large-scale machine learning on heterogeneous systems. arXiv. 2016;1603.04467.
18. Gildenblat J. Class Activation Map methods implemented in Pytorch. Available at: https://github.com/jacobgil/pytorch-grad-cam. Accessed: 9.11.2022.
19. Gildenblat J. Explainability for Vision Transformers (in PyTorch). Available at: https://github.com/jacobgil/vit-explain. Accessed: 9.11.2022.
Авторы
А.В. Фомина1, А.М. Борбат2, Е.А. Карпулевич*3, А.Ю. Наумов3
1 ФГАОУ ВО «Московский физико-технический институт (национальный исследовательский университет)», Москва, Россия;
2 ФГБУ «Государственный научный центр Российской Федерации – Федеральный медицинский биофизический центр им. А.И. Бурназяна» ФМБА России, Москва, Россия;
3 ФГБУН «Институт системного программирования им. В.П. Иванникова» РАН, Москва, Россия
*karpulevich@ispras.ru
1 Moscow Institute of Physics and Technology (National Research University), Moscow, Russia;
2 Russian State Research Center − Burnasyan Federal Medical Biophysical Center, Moscow, Russia;
3 Ivannikov Institute for System Programming, Moscow, Russia
*karpulevich@ispras.ru
1 ФГАОУ ВО «Московский физико-технический институт (национальный исследовательский университет)», Москва, Россия;
2 ФГБУ «Государственный научный центр Российской Федерации – Федеральный медицинский биофизический центр им. А.И. Бурназяна» ФМБА России, Москва, Россия;
3 ФГБУН «Институт системного программирования им. В.П. Иванникова» РАН, Москва, Россия
*karpulevich@ispras.ru
________________________________________________
1 Moscow Institute of Physics and Technology (National Research University), Moscow, Russia;
2 Russian State Research Center − Burnasyan Federal Medical Biophysical Center, Moscow, Russia;
3 Ivannikov Institute for System Programming, Moscow, Russia
*karpulevich@ispras.ru
Цель портала OmniDoctor – предоставление профессиональной информации врачам, провизорам и фармацевтам.