Головин А. В. 932126. Реферат по дисциплине Введение в интеллектуальный анализ данных на тему Сегментация изображений при помощи нейронной сети unet

• Название: Реферат по дисциплине Введение в интеллектуальный анализ данных на тему Сегментация изображений при помощи нейронной сети unet
• Дата: 01.11.2022
• Размер: 274.7 Kb.
• Имя файла: Головин А. В. 932126.docx
• Тип: Реферат; #765086

Министерство науки и высшего образования Российской Федерации

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ (НИ ТГУ)

Институт прикладной математики и компьютерных наук

Кафедра компьютерной безопасности

РЕФЕРАТ

по дисциплине «Введение в интеллектуальный анализ данных»

на тему «Сегментация изображений при помощи нейронной сети U-net»

Выполнила: студент группы №932126



Головин А. В.

Проверил: д-р

техн. Наук профессор

Замятин А.В.

___________________

зачтено /не зачтено


Томск–2021

Оглавление

Введение 4

Основы и особенности нейронной сети 5

Архитектура 6

История развития 8

Обучение нейронной сети 10

Семантическая сегментация 12

Заключение 13

Литература 14

Введение

За последние несколько лет глубокие сверточные сети превзошли уровень техники во многих задачах визуального распознавания. Хотя сверточные сети уже давно существуют, их успех был ограничен из-за размера доступных обучающих наборов и размера рассматриваемых сетей.

Типичное использование сверточных сетей - в задачах классификации, где вывод на изображение представляет собой метку одного класса. Однако во многих визуальных задачах, особенно при биомедицинской обработке изображений, желаемый результат должен включать локализация, т.е. предполагается, что каждому пикселю будет присвоена метка класса. Более того, тысячи обучающих изображений обычно недоступны для биомедицинских задач.

U-Net — это архитектура сверточной нейронной сети, предназначенная для сегментации изображений (первоначально, для биомедицинских изображений).

U-Net считается одной из стандартных архитектур для задач сегментации изображений, когда нужно не только определить класс изображения целиком, но и сегментировать его области по классу, т. е. создать маску, которая будет разделять изображение на несколько классов.

Основы и особенности нейронной сети

Основы U-Net. U-Net - это тип СНС, который выполняет семантическую сегментацию изображений. Он работает путем преобразования изображения в векторы, используемые для классификации пикселей, а затем преобразования этих векторов обратно в изображение для сегментации классифицированных областей.

Первоначально U-Net была разработана для выполнения биомедицинской сегментации изображений с использованием меньших обучающих наборов, чем требуется для обычной СНС. В обычной СНС изображение преобразуется в вектор, который используется далее для классификации. Но при сегментации изображений нужно не только преобразовать карту объектов в вектор, но и реконструировать изображение из этого вектора. Это сложная задача, потому что преобразовать вектор в изображение гораздо сложнее, чем наоборот. И вся идея U-Net вращается вокруг этой проблемы.

Архитектура

Архитектура сети приведена на рисунке выше. Она состоит из сужающегося пути (слева) и расширяющегося пути (справа).

Сужающийся путь — типичная архитектуре сверточной нейронной сети. Он состоит из повторного применения двух сверток 3×3, за которыми следуют инит ReLU и операция максимального объединения (2×2 степени 2) для понижения разрешения.

На каждом этапе понижающей дискретизации каналы свойств удваиваются. Каждый шаг в расширяющемся пути состоит из операции повышающей дискретизации карты свойств, за которой следуют:

• 
  свертка 2×2, которая уменьшает количество каналов свойств;
  
• 
  объединение с соответствующим образом обрезанной картой свойств из стягивающегося пути;
  
• 
  две 3×3 свертки, за которыми следует ReLU.
  

Архитектура сети представляет собой последовательность слоёв свёртка + пулинг, которые сначала уменьшают пространственное разрешение картинки, а потом увеличивают его, предварительно объединив с данными картинки и пропустив через другие слои свёртки. Таким образом, сеть выполняет роль своеобразного фильтра.

Всего сеть имеет 23 свёрточных слоя

История развития

В настоящее время глубокое обучение (DL) обеспечивает самую современную производительность для классификации изображений, сегментации, обнаружения и отслеживания. С 2012 года было предложено несколько моделей глубоких сверточных нейронных сетей (DCNN), таких как AlexNet, VGG, GoogLeNet, Остаточная сеть, DenseNet, и CapsuleNet. Подход на основе DL (в частности, CNN) обеспечивает современную производительность для задач классификации, сегментации и обнаружения для нескольких недавно разработанных передовых методов, включая функции активации, улучшенные методы регуляризации., и подходы к оптимизации.Однако в большинстве случаев модели исследуются и оцениваются с использованием задач классификации в очень крупномасштабных наборах данных, таких как ImageNet, где выходными данными задач классификации являются метки или значения вероятности. В качестве альтернативы, небольшие модели с архитектурными вариантами используются для задач семантической сегментации изображений. Например, полностью сверточная сеть (FCN) также обеспечивает современные результаты для задач сегментации изображений в компьютерном зрении. Также был предложен другой вариант FCN, SegNet.

Благодаря большому успеху глубоких сверточных нейронных сетей (DCNNS) в области компьютерного зрения различные варианты этого подхода применяются в различных методах медицинской визуализации, включая сегментацию, классификацию, обнаружение, регистрацию и обработку медицинской информации.

Медицинская визуализация осуществляется с помощью различных методов визуализации, таких как компьютерная томография (КТ), ультразвук, рентген и магнитно-резонансная томография (МРТ). Цель компьютерной диагностики состоит в том, чтобы получить более быстрый и точный диагноз, чтобы обеспечить лучшее лечение большого числа людей одновременно. Кроме того, эффективная автоматическая обработка уменьшает количество человеческих ошибок и значительно сокращает общее время и затраты. Из-за медленного процесса и утомительного характера ручных подходов к сегментации существует значительный спрос на компьютерные алгоритмы, которые могут выполнять сегментацию быстро и точно без участия человека. Однако сегментация медицинских изображений имеет некоторые ограничения, включая нехватку данных и классовый дисбаланс.

Маркировка набора данных требует наличия эксперта в этой области, что является дорогостоящим и требует много усилий и времени. Иногда для увеличения количества доступных помеченных образцов применяются различные методы преобразования или увеличения данных.

В случае семантической сегментации фоновым изображениям присваивается метка, а областям переднего плана или целевым областям присваиваются разные классы. Таким образом, проблема классового дисбаланса решается без каких-либо проблем.

Обучение нейронной сети

Обучение сети U-Net происходит на изображениях и соответствующих им картах сегментации с помощью метода стохастического градиентного спуска. Из-за неупакованных сверток выходное изображение меньше входного на постоянную ширину границы.

Soft-max определяется как Применяемая попиксельно, функция soft-max вычисляет энергию по окончательной карте свойств вместе с функцией кросс-энтропии. Кросс-энтропия, вычисляемая в каждой точке, определяется так:

, где обозначает активацию в канале признаков k в позиции пикселя K - число классов, а - аппроксимированная максимальная функция. То есть для k , имеющего максимальную активацию для других k . Кросс-энтропия, вычисляемая в каждой точке, определяется так:

- истинная метка каждого пикселя, а - карта веса, которая вводится, чтобы придать некоторым пикселям большее значение в обучение.

Граница разделения вычисляется с использованием морфологических операций. Затем вычисляется карта весовых коэффициентов:

• 
  где wñ — карта весов для балансировки частот классов
  
• 
  d1 — расстояние до границы ближайшей ячейки
  
• 
  d2 — расстояние до границы второй ближайшей ячейки
  

U-Net объединяет информацию о местоположении из пути понижающей дискретизации с контекстной информацией в пути повышающей дискретизации, чтобы в конечном итоге получить общую информацию, объединяющую локализацию и контекст, которые необходимы для прогнозирования хорошей карты сегментации. Плотного слоя нет, поэтому в качестве входных данных могут использоваться изображения разных размеров (так как единственными параметрами для изучения на слоях свертки являются ядра, а размер ядра не зависит от размера входного изображения). Использование массивного увеличения данных играет важную роль в таких областях, как биомедицинская сегментация, поскольку количество аннотированных образцов обычно ограничено

Семантическая сегментация

Семантическая сегментация представляет собой маркировку каждого пикселя в изображении идентификатором класса, поэтому элементы изображения могут быть отделены на основе класса. Это обеспечивает более лучшую сегментацию, чем при обнаружении объекта, которое просто идентифицирует прямоугольную границу вокруг объекта, но немного хуже, чем сегментация экземпляра, которая идентифицирует уникальные экземпляры каждого класса в дополнение к их границам пикселей.

Семантическая сегментация используется в различных задачах, таких как распознование окружающей среды для автономных транспортных средств или гео-зондирование, но анализ медицинских изображений, в частности, выигрывает у архитектуры U-Net. Из-за правил HIPAA, ограничивающих пул данных пациентов и временной интенсивности классификации изображений экспертами, обучающие наборы, доступные для сегментации биомедицинских изображений очень малы. Путем обучения инвариантности и устойчивости посредством манипулирования изображениями можно искусственно расширить размер доступных наборов данных, что позволит U-Net правильно классифицировать ткани, несмотря на различия, такие как деформация.

В U-Net используются взвешенные потери, где пикселям между интересующими объектами придается больший вес по мере сокращения расстояния между объектами, что позволяет сети научиться четко разделять объекты и более точно идентифицировать такие признаки, как границы клеток.

Заключение

Сегментация изображений является очень важной задачей. И для ее решения нейронные сети показывают очень высокую эффективность, в особенности СНС. Одной из таких сетей является U-net, которая показывает высокие результаты при сегментации изображений, по сравнению с другими сетями, благодаря своей архитектуре.

Главным преимуществом является возможность использования в качестве входных данных изображения разных размеров и использование малого количества данных для достижения хороших результатов. В основном данная сеть используется для сегментации изображений в области медицины, но также применяется и для других задач. Сейчас многие новые разработанные сети берут за основу архитектуру U-net.

Литература

1. 
   Daugman, J.G. How iris recognition works // Proc. IEEE Trans. Circ. Syst. Video Technol. – 2004. – Vol. 14(1). – P. 21-30.
   
2. 
   Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс – М.: Техносфера, 2005. – 1072 с.
   
3. 
   Semenov, M.S. A comparison of iris image segmentation techniques / M.S. Semenov, E.V. Myasnikov // CEUR Workshop Proceedings. – 2018. – Vol. 2210. – P. 163-169.
   
4. 
   Ronneberger, O. U-net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox // MICCAI, 2015. – P. 234-241.
   
5. 
   Предварительно обученная модель U-Net [Электронный ресурс]. – Режим доступа: https://github.com/jus390/U-net-Iris-segmentation. (23.12.2019)
   
6. 
   Kingma, D. Adam: A Method for Stochastic Optimization / D. Kingma, J. Ba // arXiv: 1412.6980v8, 2017.
   
7. 
   MMU Iris Image Database: Multimedia University [Электронный ресурс]. – Режим доступа: http://pesonna.mmu.edu.my/ccteo/.
   
8. 
   Lozej, J. End-to-End Iris Segmentation Using U-Net / J. Lozej, B. Meden, V. Struc, P. Peer // IEEE International Work Conference on Bioinspired Intelligence (IWOBI), 2018. – P. 1-6.