Система мониторинга пожарной и медико экологической безопасности с использованием анализа видеоданных с беспилотных летательных аппаратов
 Скачать 2.07 Mb.
|
|
4.2 Автоматизированная система для классификации снимков, полученных с видеокамер беспилотного летательного аппарата 4.2.1 Разработка алгоритма классификации снимков видеоряда от беспилотного летательного аппарата Классификация снимков видеоряда предполагает распознавание всего изображения или его частей (сегментов). С этой целью в работе была использована технология бустинга, основанная на понятии «сильных» и «слабых» классификаторов [71, 75]. Для формирования дескрипторов для «слабых» классификаторов было предложено использовать преобразование Уолша- 121 Адамара. Обобщенный алгоритм классификации снимков видеоряда представлен на рисунке 4.4. Ввод снимка видеоряда Ввод размера сегментов Снимки сегментированы? Сегментация Сегменты классифицированы? Определение интегральных характеристик изображений для алгоритмов принятия решений Обучение нейросетей и настройка порогов Реализация алгоритмов принятия решений по сегментированному снимку Ввод результатов по классификации снимков Цикл по координатам сегментов Препарирование окна сегмента Цикл по размерам окна Двумерное преобразование Уолша Конец цикла по размерам окна Классификация сегмента Сохранение сегмента Конец цикла по сегментам 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Да Нет Нет Да Рисунок 4.4 – Схема алгоритма классификации снимков видеоряда 122 В представленном алгоритме в качестве источника изображения могут быть файлы, хранящиеся на диске персонального компьютера или видеопоток, поступающий с реального оборудования БПЛА или Интернета. Алгоритм имеет две ветви, организованные посредством блока 5. Первая ветвь работает с уже классифицированными сегментами и осуществляет настройку параметров НС, которая используется в качестве классификатора сегментов (блоки 6, 7, 8 и 9). Вторая ветвь алгоритма предназначена непосредственно для классификации сегментов (блоки 10…17). На вход блока 10 поступает сегментированное изображение на сегменты одинаковых размеров. Сегментация входного изображения на эти сегменты осуществляется в блоках 3 и 4. Размеры сегментов задаются ЛПР в блоке 3. В блоке 10 задается цикл просмотра сегментов изображения. При необходимости в блоке 11 осуществляется препарирование сегментов изображения. После этого в цикле (блоки 12…14) осуществляется вычисление дескрипторов (преобразование Уолша-Адамара) для классификатора сегмента. Дескрипторы вычисляются для трех «слабых» классификаторов [37]. Сначала вычисляется преобразование Уолша-Адамара для всего окна, и его спектральные коэффициенты используются для первого «слабого» классификатора. Затем (в следующем цикле блоков 12…14) вычисляются дескрипторы по окнам, размеры которых в два раза меньше размеров исходного окна, и т.д. Этот процесс поясняет рисунок 4.5. Например, если исходное окно имеет размер 32х32 пикселя, то в следующем цикле дескрипторы вычисляются в четырех окнах размером 16х16 пикселей, а в следующем цикле – в 16 окнах размером 8х8 пикселей. Однако, в каждом цикле получаем одинаковое количество дескрипторов, что позволяет построить «слабые» классификаторы с унифицированной структурой. После классификации сегмента он отправляется в базу данных (блок 16), а результат его классификации выводится на терминальное устройство (блок 9). 123 Классифицируемый сегмент Окно 1 (8х8) Окно 2 (16х16 ) Окно 3 ( 32х32 ) Рисунок 4.5 – Декомпозиция классифицируемого сегмента снимка видеоряда на спектральные окна «Сырые» данные могут по желанию ЛПР быть предварительно обработаны (блок 11). Это позволяет улучшить показатели качества классификатора, в среднем, на 10%. Координаты сегментов запоминаются, а сегмент получает соответствующую идентификационную метку (блоки 3 и 4). Классификация сегментов происходит в двух циклах после сегментации снимка. Внутренний – блоки 12…14 – это цикл по спектральным окнам (рисунок 4.5) преобразования Уолша-Адамара. Размеры окна кратны степени числа 2 и соответствуют структуре, представленной на рисунке 4.5. Так как в сегменте число «слабых» классификаторов определено числом спектральных окон, то во внешнем цикле предусмотрен внутренний цикл, в котором также могут быть свои внутренние циклы по вычислению двумерной плоскости Уолша-Адамара для каждого окна. Размер сегмента, с одной стороны, должен быть значительно меньше размера самого изображения, а с другой стороны окна сегмента должны 124 сохранять информацию о искомом признаке (дым, пламя и т.п.). Разведочный анализ показал, что размеры сегмента (окна) ограничены 8 - 128 пикселями. Внутри цикла по «слабым» классификаторам производится вычисление их дескрипторов и их запись в специальной структуре данных. После того как дескрипторы в окнах получены (выполнены преобразования Уолша-Адамара), во внешнем цикле осуществляется просмотр координат сегментов снимка (внешний цикл: блоки 10…17). Непосредственно классификация сегмента осуществляется в блоке 15, который реализует иерархический нейросетевой классификатор со структурой, представленной на рисунке 3.21. Для обучения НС формируется база данных классифицированных (образцовых) сегментов и подбираются функции активации для НС. Перед окончанием алгоритма происходит вывод и запись в специальную структуру данных результатов вычисления дескрипторов с меткой соответствующего класса и результатов обучения нейронных сетей. 4.2.2 Разработка программно-алгоритмического обеспечения синтеза «слабых» классификаторов снимков видеоряда Для синтеза «слабых» классификаторов на основе двумерного преобразования Уолша-Адамара было разработано программное обеспечение (ПО). За основу ПО взята структура ПО, предложенная в [17]. Ее модульная структура представлена на рисунке 4.6. Для создания ПО использовался MATLAB 2018b в Windows 7. Основой ПО является Модуль управления (контроллер задач), который взаимодействует с ЛПР. Для хранения обработанных данных предусмотрено хранилище данных – «Модель данных». В хранилище данных хранятся изображения сегментов и спектры их окон, а также вычисляемые дескрипторы и параметры обученных классификаторов. Исходное изображение загружается с 125 помощью сервиса ввода-вывода, представленного в виде всплывающих и раскрывающихся окон, что обеспечивает ЛПР возможность загружать снимки в форматах jpeg, png и др. Сервис ввода-вывода используется также для селекции релевантных спектральных коэффициентов в окнах трех типоразмеров, что позволяет сформировать векторы информативных признаков «слабых» классификаторов значительно меньшей размерности. Рисунок 4.6 – Модульная структура программного обеспечения для классификации снимков видеоряда Для обучения классификаторов использовалась база данных, содержащая сегменты дискриминируемых классов. Размеры сегментов задавались 32х32 пикселя. В принципе, программное обеспечение построено так, что сегменты могут быть любого размера. Однако настройка классификатора требует одинаковых размеров сегментов. 126 Спектральные коэффициенты Уолша-Адамара, по которым осуществляется идентификация интересующего нас класса, формируют входные векторы «слабых» классификаторов (дескрипторы). Координаты спектральных коэффициентов, принимающих участие в формировании входного вектора «слабого» классификатора, будем называть локализацией «слабого» классификатора. На рисунке 4.7 представлен интерфейс ПО для создания базы данных (БД) обучающих и контрольных выборок. Исходный снимок разбивается на сегменты квадратной формы с размерами, кратными двум. Затем ЛПР устанавливает флажок индикатора класса (на рисунке 4.7 это класс «пламя») и указателем «мыши» помечает тот сегмент, который относится к данному классу. Помеченные сегменты отправляются в папку БД, в которой хранятся сегменты данного класса. Рисунок 4.7 – Интерфейс программного обеспечения для создания базы данных обучающих выборок Основные вычислительные процедуры реализованы следующими решающими модулями: - модуль вычисления преобразования Уолша-Адамара; - модуль формирования окон внутри сегмента; - модуль селекции дескрипторов; 127 - модуль формирования решающих правил (синтеза классификатора). Модуль формирования окон из исходного сегмента делит сегмент на окна заданных размеров согласно схеме, представленной на рисунке 4.5. Пиксели в этих окнах обрабатываются в модуле вычисления преобразования Уолша- Адамара. По вычисленным двумерным спектрам Уолша-Адамара осуществляется формирование дескрипторов для обучающих выборок или для классификатора сегмента. Результаты вычисления спектра Уолша-Адамара в окнах сегмента, передаются через интерфейс доступны ЛПР. На рисунке 4.8 представлен интерфейс ПО и его основные элементы. Рисунок 4.8 – Основные элементы интерфейса: 1 – выделенный сегмент класса 1, 2- выделенный сегмент класса 2, 3 - разность между спектрами Уолша- Адамара в окне №1 и в окне №2 для поиска информативных спектральных коэффициентов, 4 - окно №1, 5 - окно №2, 6 – спектр Уолша-Адамара окна №1, 7 - спектр Уолша-Адамара окна №2 В этом интерфейсном окне из исходного снимка вырезаны сегмент №1 (класс интереса) и сегмент № 2 – индифферентный класс, рассчитаны их 128 двумерные спектры Уолша-Адамара (показаны в окнах 6 и 7, а изображения самих сегментов показаны в окнах 4 и 5). Сегмент №2 по размеру совпадает с сегментом №1, поэтому мы можем сопоставлять их спектры. Спектры этих сегментов представлены в правой части рисунка 4.8 и отмечены номерами 6 и 7. По найденной разности между спектром в окне №1 и спектром в окне №2 (окно 3 на рисунке 4.8) можем осуществить поиск информативных спектральных составляющих для «слабых» классификаторов класса интереса. В результате, технология поиска дескрипторов для «слабого» классификатора состоит в анализе спектральных коэффициентов в окнах, содержащих морфологические компоненты искомого класса, и нахождении их отличий от спектральных коэффициентов в окнах, не содержащих таких морфологических компонент. Цель поиска – селектировать только значимые спектральные коэффициенты в окне по пороговому и информационному критериям. В качестве примера на рисунке 4.9,б показано окно размером 32х32 пикселя, содержащее сегмент снимка класса «пламя» (на рисунке 4.9,а границы этого сегмента на снимке показаны красной окружностью), и соответствующий спектр Уолша-Адамара этого фрагмента представлен на рисунке (в). а) б) в) Рисунок 4.9 – Аэроснимок с сегментом класса «пламя»: дислокация сегмента указана красной окружностью (а), соответствующее содержимое сегмента класса «пламя» (б) и спектр Уолша-Адамара этого сегмента (в) 129 На рисунке 4.10 показано окно размером 32х32 пикселя (б), содержащее сегмент того же снимка (а) индифферентного класса, которому соответствует спектр Уолша-Адамара (в). а) б) в) Рисунок 4.10 – Аэроснимок с сегментом индефферентного класса: дислокация сегмента указана красной окружностью (а), соответствующее содержимое сегмента индефферентного класса (б) и двумерный спектр Уолша- Адамара этого сегмента (в) Нулевой элемент спектра Уолша-Адамара, который расположен в левом верхнем углу спектрального окна, соответствует фоновой яркости пикселей средней яркости пикселей в окне (пиксели в окне взвешиваются с нулевой функцией Уолша, которая равна единице). 4.3 Оценка качества классификации сегментов аэроснимков видеоряда Основной задачей, поставленной в исследовании, является дискриминация сегментов с морфологическими образованиями «пламя», «дым» и индифферентного класса. Так как в классифицируемый сегмент вписываются окна трех типоразмеров - 8х8, 1616, 3232 пикселя, в которых вычисляются двумерные спектры Уолша- Адамара, то имеем три вида обучающих выборок, каждый пример в которых 130 характеризуется векторами одинаковой размерности. Следовательно, для каждой из трех обучающих выборок строим свой классификатор, который принимает независимое решение по отнесению сегмента к определенному классу. Решение этих трех классификаторов агрегируется также независимым классификатором, построенным на основе технологий обучаемых НС или нечеткого логического вывода [43, 66, 72, 79]. Один из примеров структуры такого классификатора представлен на рисунке 4.11. Рисунок 4.11 – Блочная диаграмма классификатора сегмента Особенностью данной структуры является то, что три автономных агента на нижнем иерархическом уровне используют одни и те же «сырые» данные и формируют на основе их анализа векторы дескрипторов одинаковой размерности: вектор X1 – это коэффициенты Уолша-Адамара 16 окон размером 8х8, вектор X2 –коэффициенты Уолша-Адамара четырех окон размером 1616, вектор X3 – коэффициенты Уолша-Адамара в окне 3 (рисунок 2) размером 3232 пикселя. При формировании векторов X1…X3 спектральные коэффициенты нормируются на среднюю яркость в сегменте снимка, по спектральным 131 коэффициентам которого формируются входные векторы «слабых» классификаторов. При этом необходимо учитывать, что нулевой спектральный коэффициент, расположенный в верхнем левом углу спектральной плоскости Уолша-Адамара, равен средней яркости изображения в окне. Для проведения экспериментальных исследований были использованы видеопоследовательности из баз данных Bilkent [88]. Кадры некоторых использованных снимков из видеороликов и их свойства приведены в таблице 4.2. Таблица 4.2 – Примеры тестовых снимков из базы данных Bilkent 132 Целью экспериментальных исследований был анализ показателей качества классификации классификаторов снимков с сегментами класса «дым» и «пламя». При этом возгорание считалось обнаруженным, если хотя бы один искомый сегмент класса «дым» или «пламя» найден на аэроснимке. Обучающая выборка видеоизображений (кадров видеопоследовательностей) включает в себя 2000 примеров. Количество сегментов класса «пламя» в обучающей выборке для видеопоследовательностей с пламенем составило 7000, класса «дым» – 5000, индифферентный класс – 6500. Общая продолжительность видеопоследовательностей составила около 20 минут. Для оценки качества работы предложенного метода использованы показатели: точность – TR (рассчитывается как отношение сегментов, класс которых определен правильно, к общему числу классифицируемых сегментов), чувствительность (показатель ошибок первого рода) – S (отношение правильно классифицированных сегментов заданного класса к общему числу сегментов этого класса в контрольной выборке характеризует ложно отрицательное срабатывание решающего правила), специфичность (показатель ошибок второго рода) – Sp (отношение правильно классифицированных сегментов индифферентного класса к общему числу сегментов этого класса в контрольной выборке характеризует ложно положительное срабатывание решающего правила). В контрольную выборку видеопоследовательностей входили снимки, на которых присутствовали сегменты различных классов (таблица 4.2). На некоторых снимках имелся сложный динамический фон, который отражался на классифицируемых сегментах. На некоторых кадрах присутствовали одновременно классы сегментов «пламя» и «дым», например, Bilkent\controlled2 кадр 101 и Bilkent\fire1кадр 439 (таблица 4.2). Если хотя бы один из сегментов снимка был отнесен к классу «пламя», то снимок определялся как снимок с пламенем. В таблице 4.3 приведены результаты экспериментальных исследований показателей качества классификации двухальтернативного классификатора, настроенного на дискриминацию класса «пламя» и индифферентного класса. 133 Таблица 4.3 – Показатели эффективности метода для класса «пламя» на контрольной выборке Класс S, % Sp, % TR, % Кол-во сегментов Пламя 89,5 95,5 89,5 280 Индифферентный 95 90 320 В таблице 4.4 приведены результаты экспериментальных исследований показателей качества классификации при обнаружении дыма в сегментах аэроснимков. Как и при обнаружении пламени, сегменты снимков видеоряда разделены на две группы: сегменты, содержащие дым, и без него (индифферентный класс). Таблица 4.4 – Показатели эффективности метода для класса «дым» на контрольной выборке Класс S, % Sp, % TR, % Кол-во сегментов Дым 86 87 86,2 300 Индифферентный 85 86 320 Критерием достоверности отнесения сегмента классификатором к определенному классу считали результаты классификации аэроснимка, выполненные двумя ЛПР. 134 4.4 Выводы четвѐртого раздела 1. Показано, что в мобильную систему мониторинга, раннего обнаружения и оценки пожарной опасности целесообразно включать группировку беспилотных летательных аппаратов, оснащенных многофункциональной приборной платформой с размещенными на ней газовыми датчиками, видеокамерами о навигационным оборудованием. Для организации съема информации с датчиков задымления и вредных веществ, выделяемых в процессе горения (СО, СО 2 , фенолы, формальдегиды), и датчиков температуры предложено использовать специализированные микрочипы (аналоговые интерфейсы типа AFE), которые кроме регистрации информации с датчиков решают задачи усиления, масштабирования, аналоговой и цифровой фильтрации, формирования стандартных протоколов для подключения к микроконтроллерам, контроля работоспособности и калибровки датчиков и др. Предложены варианты структур мобильной приборной платформы. Разработан алгоритм управления беспилотным летательным аппаратом в автономном режиме, позволяющий формировать команды управления на основе анализа сигналов с датчиков концентрации вещества, а траекторию движения планировать в направлении максимальной концентрации контролируемого вещества. Алгоритм предусматривает также возможность облета препятствий и областей с температурой, способной вывести из строя бортовое оборудование. Выбраны показатели качества для мобильных приборных платформ и осуществлена экспертная оценка вариантов их эффективности по девяти показателям качества с последующим построением циклограмм и определением интегральных показателей качества рассматриваемых вариантов мобильных приборных платформ. 2. Разработан метод классификации морфологических образований на аэроснимках, полученных при мониторинге автономных территориальных единиц 135 посредством БПЛА. Метод основан на определении дескрипторов выделенных прямоугольных сегментов заданных размеров посредством определения спектров Уолша-Адамара в трех типоразмерах окон, сформированных в этом сегменте. Метод позволяет настраивать (обучать) классификаторы на дифференциальную диагностику сегментов на снимках видеоданных, полученных с видеокамер БПЛА. 3. На основе выбранных критериев качества классификации проведена апробация классификаторов по разделению сегментов класса «пламя» и сегментов индифферентного класса, а также класса «дым» и сегментов индифферентного класса 4. Создана база данных с сегментами изображений видеопоследовательностей, в которую вошли сегменты трех классов: «дым», «пламя» и индифферентный класс. Обучены два двухальтернативных классификатора сегментов изображений видеоряда: «дым»/индифферентный класс, «пламя»/индифферентный класс. Проведены экспериментальные исследования по оценки качества классификации снимков видеопоследовательностей посредством обученных нейросетевых классификаторов сегментов изображения. Чувствительность классификатора «дым»/индифферентный класс составила 0,86, а число ложноположительных результатов не превысило 13%. Чувствительность классификатора «пламя»/индифферентный класс составила 0,895, а число ложноположительных результатов не превысило 4,5%. Таким образом, экспериментальные исследования подтверждают эффективность предложенного метода обнаружения пламени и дыма на сегментах аэроснимков, полученных при мониторинге автономных территориальных единиц. |