Система мониторинга пожарной и медико экологической безопасности с использованием анализа видеоданных с беспилотных летательных аппаратов
 Скачать 2.07 Mb.
|
|
3 .2.2 Разработка структуры подсистемы прогнозирования Подсистема прогнозирования осуществляет анализ состава атмосферы в зоне мониторинга и прогнозирует пожарные, экологические и медицинские риски. Анализ данных в этой подсистеме позволяет рационально распределить ресурсы борьбы с пожарами, а также принять превентивные меры по оказанию медицинской помощи населению и защиты окружающей среды. Структурная схема пожарного и экологического мониторинга представлена на рисунке 3.10. В блок наблюдения подсистемы прогнозирования данные поступают как с видеокамер БПЛА, так и с газовых датчиков, установленных на БПЛА. 90 Рисунок 3.10 – Структурная схема подсистемы прогнозирования Одним из путей повышения эффективности системы пожарного и медико- экологического мониторинга является переход к мобильным приборным платформам (МПП). Это новое направление в разработке и создании систем экологического мониторинга, основанное на применении интеллектуальных мобильных устройств совместно с БПЛА [52, 53]. МПП является автономной робототехнической системой. Ее функционирование складывается из четырех составляющих: перемещение МПП в пространстве (механическое движение), измерение состояния окружающей среды, измерение состояния размещенных на его борту источников энергии, осуществление взаимодействия с окружающими препятствиями или другими МПП (БПЛА). При определенных ситуациях БПЛА может перейти в автономный режим полета к источнику загрязнения окружающей среды (пожару). В этом случае, определение координат БПЛА и управление полетом осуществляет МПП. Остальные функции МПП (работа бортовой аппаратуры, расход ресурса) являются вспомогательными, обеспечивающими решение главной задачи. В роли 91 объекта управления может выступать как отдельная МПП (БПЛА), так и система МПП (БПЛА), однородная или разнородная. Этот случай характерен для мониторинга больших по площади территорий [52, 53]. На рисунке 3.11 представлена структурная схема системы пожарного и экологического мониторинга на базе МПП. Рисунок 3.11 – Структурная схема системы мониторинга на базе МПП МПП выполнена на базе БПЛА и содержит бортовой источник электропитания, подсистему датчиков-измерителей внутреннего состояния платформы, подсистему датчиков-измерителей локальной и глобальной навигации платформы, систему измерения экологического состояния среды, бортовой вычислитель. Использование микромодулей газовых анализаторов позволяет оптимизировать систему пожарного и экологического мониторинга, так Блок принятия решения Блок обработки информации МПП Блок принятия решения Блок обработки информации Бортовой источник энергии Управление электроприводом Силовой каркас и двигатели Сенсоры концентрации CO, GPS , ЛНС, t Центральный пост наблюдения Модуль планирования полета Окружающая среда ГУ МЧС России по субъекту РФ Комитет экологической безопасности города Мобильные посты наблюдения МПП 92 как один мобильный сенсор эквивалентен нескольким десяткам стационарных датчиков. Вычислитель осуществляет обработку поступающей информации от подсистем датчиков для реализации алгоритмов управления движением. На рисунке 3.12 представлена схема управления системы БПЛА. P МГА Σ Q min Коорд. x i , y i для Q min Уравнение траектории Q i+1 ,Q i ГА Дальномер Температура Q * Q l<l 0 t<t 0 l t t l X n (t) y n (t) X p y p ОЗК Бортовой вычислитель Логический вывод y i (t) X i (t) β 1 β 2 ω Δυ i Δψ i υ i * ψ i * ψ i * υ i * да да нет нет МР МПП Рисунок 3.12 – Структурная схема системы управления БПЛА Структура схемы и алгоритмов управления движением БПЛА в автономном режиме по скорости ῡ i и азимуту ψ i на i-том участке кусочно-линейной траектории позволяют осуществлять управление движением БПЛА при измерении концентрации СО в заданных точках пространства Q i , а также температуры t 0 и расстояния до препятствия [53]. Построение i -го фрагмента новой траектории в форме параметрических уравнений y i (t), x i (t) , где t – время, осуществляется по определению градиента концентрации по min Q и max Q При выполнении условий или 0 происходит изменение траектории по сценарию y п (t), x п (t) или y р (t), x р (t). Параметры ПИД-регулятора Р определяются на основе минимизации отклонений реальных параметров от заданных. Для оценки ошибок при синтезе ПИД регулятора использован интегральный критерий 93 Величина ошибки не превышает 10%. Рассмотрим алгоритм метода определения координат источника возгорания на основе системы экологического мониторинга посредством БПЛА, схема которого представлена на рисунке 3.13. Алгоритм выполняется в следующей последовательности. 1. При обнаружении повышенной концентрации СО > а в воздухе, МПП, находящаяся в точке В с координатами х В , у В , взлетает вертикально на высоту Н 0 , которая определяется параметрами патрулируемого участка и зависает на заданной высоте. 2. Кроме того, изменяется режим движения по этой окружности радиусом R = 5 м, на этом шаге в заданных точках, координаты которых определяются по интегрированному сигналу системы GPS и локальной навигационной системы, измеряется концентрация CO. Абсолютная погрешность определения координат точек составляет 0,3 - 0,7 м. Поэтому для получения достоверных данных БПЛА может проходить над одной точкой несколько раз. 3. На основе нескольких измерений концентрации CO в заданной точке бортовой компьютер определяет средние значения концентрации в заданных точках. 4. Бортовой компьютер определяет точки с максимальной и минимальной концентрацией CO на этом круге, а затем направление движения рассчитывается относительно максимальной концентрации. dt t t t 1 Р 1 0 2 i i 2 i i 94 Начало нет нет Конец СО< ? да 1 Изменение полетного плана 2 Полет по окружности 3 Определение координаты точек i=1…8 4 3 1 j CO CO tj t Q Q 5 Определение min i max i CO CO Q , Q 6 ? Q Q min max CO CO ? 7 Определение траектории прямой 8 Полет по определенной траектории 9 Задержка 10 да Рисунок 3.13 – Блок-схема метода обнаружения координат пожара 95 5. Выбор траектории движения по горизонтальной прямой на расстояние L=10…20м в точку с координатами x 1 , y 1 в направлении максимальной концентрации СО. МПП останавливается и зависает на некоторой высоте H 1 , если в качестве БПЛА используется квадрокоптер. 6. Переключение режима на движение по окружности по пп.1…4. Переключение режима на движение по окружности, в заданных точках которой осуществляется измерение концентрации СО, осуществляется блоком сравнения. Блок сравнения определяет точки с максимальной СО max и минимальной СО min концентрациями СО. Если СО max – СО min меньше некоторого положительного числа, процесс движения останавливается и координаты x 2 , y 2 соответствуют координатам источника токсичного газа с максимальной абсолютной погрешностью 5 м. Если дымовая точка расположена за пределами периметра АТЕ, то БПЛА должен изменить программу полета и двигаться по пеленгу, в качестве которого используется градиент концентрации окиси углерода. Если обнаружен источник дыма (пожара) вне периметра АТЕ по видеоданным, то оператором устанавливается такой курс следования БПЛА, чтобы он проходил в направлении на источник дыма или пожара. Рассмотрим метод определения координат источника возгорания с помощью датчика CO и датчика температуры. На рисунке 3.14 показана схема измерения координат источника CO. После инициализации квадрокоптер взлетает на определенную высоту, а затем движется по кругу с радиусом, оптимальным значением которого был принят радиус R = 5м. После нахождения максимального градиента концентрации движение происходит по прямой в направлении увеличения концентрации и повышения температуры. Процесс движения завершается после того, как концентрация СО и температура по траектории окружности практически не изменяются при движении по окружности. То есть источник CO и температура находятся внутри круга, а его положение определяется погрешностью, равной радиусу этого круга R. 96 R A Y 0 X B X B Y B L θ A Рисунок 3.14 – Схема определения координат источника возгорания Этот метод позволяет использовать датчик СО и датчик температуры, установленный на квадрокоптере, для определения координат источника возгорания. По возможности рекомендуется использовать GPS как средство измерения расстояний. Нормированную допустимую погрешность средств измерений, используемых в этом методе, следует рассматривать как погрешность измерения расстояния и концентрации CO. Таким образом, в качестве критерия эффективности метода мы берем площадь рисунка, на которой гарантированно находится источник возгорания. Сравнивая стационарные методы определения координат источника возгорания с МПП, можно сделать вывод, что использование предложенной системы пожарного и экологического мониторинга на базе МПП повышает точность определения координат источника возгорания. 97 3 .2.3 Подсистема анализа и классификации видеоданных Определение дислокации пожаров с помощью компьютерного зрения с достаточной точностью и оперативностью является трудной задачей [36]. Принято, что в качестве дескрипторов для определения координат источника возгорания используется температурная карта, полученная посредством тепловизора или инфракрасной камеры. Однако на инфракрасных камерах пожарами будут выглядеть места с высокой температурой воздуха, а некоторые участки поверхности будут приняты за источники тепла только из-за особенностей отражения света. К тому же такие камеры существенно дороже. Поэтому при использовании в мониторинге пожарной обстановки дронов, входящих в автоматизированную систему мониторинга пожарной обстановки, на их борту для поиска очага пожара целесообразно устанавливать RGB-камеры, которые используются для съѐмки всего района, а фотографии затем анализируются посредством автономных интеллектуальных агентов (АИА), построенных на основе моделей машинного обучения [64, 71, 77]. Для анализа RGB-изображений в настоящее время широко используются СНС различной архитектуры. Однако у них имеются два существенных недостатка, которые препятствуют их использованию в автоматизированной системе оценки пожарной обстановки. Первый недостаток связан с большим потоком видеоданных, поступающих с видеокамер дрона на СНС в процессе мониторинга. Это обстоятельство не позволяет удовлетворить требования по оперативности анализа снимков. Второй недостаток СНС связан с тем, что СНС классифицирует снимок в целом, тогда как на пульт ЛПР необходимо передать координату возгорания, то есть классификация снимка должна осуществляться сегментарно, что снижает преимущества СНС при решении этой задачи. За основу построения классификатора пожарной обстановки взят метод классификации RGB-видеоданных, поступающих от видеокамеры дрона, основанный на понятии каскадного окна [73, 76, 78]. Сущность метода 98 классификации, используемого в этой системе, состоит в том, что каждый снимок пошагово разбивается на квадратные сегменты уменьшающегося размера, которые последовательно сканируются по правилу строчной развертки. Решения по принадлежности сегмента к одному из классов пожароопасности – «пламя», «дым», «чисто» – принимается классификатором по дескрипторам, полученным по результатам анализа соответствующего сегмента снимка. Таким образом, если имеет место крупный пожар, то выбор крупных сегментов вначале сканирования обеспечивает оперативность принятия решения в системе в целом. Такой подход к классификации также может обеспечить двухступенчатую классификацию, когда на более крупном масштабе выбирается область интереса (ROI), а затем эта область сканируется на более мелком масштабе [72, 75]. На выходах классификатора, построенного по предлагаемому методу, будет представлено не само искомое изображение в бинарной форме, а только класс соответствующего сегмента. При этом классификаторы выделяемых сегментов построены не на методах попиксельной классификации, а по методу сегментарной классификации таким образом, что все пиксели изображения, попавшие в выделенный сегмент, по результатам анализа которого формируются дескрипторы, относятся к одному классу. Процедура формирования сегментов снимка заключается в том, что растровое изображение декомпозируется на некоторое количество уровней. Каждый уровень содержит множество потомков-изображений. Изображение верхнего уровня является «материнским» изображением для множества изображений-потомков нижнего уровня, как и изображение нижнего уровня является «материнским» для изображений следующего (нижнего по отношению к этому изображению) уровня [10]. На рисунке 3.15 представлена схема сегментации аэроснимка. На первом уровне имеем четыре сегмента. Например, в качестве способа декомпозиции может быть использовано правило «2 2n ». Это значит, что на первом уровне имеем 4 изображения-потомка, на втором – 16, на третьем – 64 и т.д. [9]. Для того, чтобы 99 отобразить классы опасности на исходном (не сегментированном) снимке, сегменты кодируются. Рисунок 3.15 иллюстрирует принцип кодирования сегментов. Код сегмента записан внутри каждого сегмента. Рисунок 3.15 – Схема формирования сегментов снимка На втором уровне имеем шестнадцать сегментов. Если быть более точным, то каждый сегмент на определенном уровне разбивается на четыре сегмента. Сегменты имеют одинаковые размеры. Каждый сегмент, в зависимости от решения ЛПР, которое определяется спецификой объекта мониторинга и уровнем пожароопасности, классифицируется либо на два класса: «ROI» и «НЕ ROI», либо 100 на три вышеупомянутых класса, характеризующих конкретный класс пожароопасности обстановки в сегменте снимка. Если принимается решение, что этот сегмент «ROI», то он переводится на следующий уровень с последующим делением на четыре одинаковых сегмента, а если классифицируется как «НЕ ROI», то осуществляется переход на классификацию следующего сегмента. Каждый сегмент в полученной иерархии кодируется соответствующим числом, которое описывает его статус в этой иерархии, то есть его отношение к сегментам предшествующего (вышестоящего) уровня. Для каждого уровня декомпозиции формируется свой АИА. Агрегирование их решений осуществляет «сильный» классификатор. Учитывая, что представленная на рисунке 3.15 схема сегментации предназначена для фильтрации снимков видеопоследовательности, ограничимся двумя уровнями сегментации. При этом в каждом снимке максимальное количество сегментов не превышает шестнадцати. На рисунке 3.16 представлена структура сегментации снимка в предельном случае. В принципе, максимальное число уровней сегментации может быть увеличено, в зависимости от площади обзора видеокамеры и требования к программным средствам по быстродействию. В качестве критерия отнесения сегмента к классу ROI определяем показатель превышения его фоновой яркости над фоновой яркостью материнского сегмента. Если это условие выполняется, то сегмент-потомок переходит на следующий уровень, то есть делится на четыре новых сегмента. Управляя величиной порога, можно управлять соотношением между чувствительностью и специфичностью алгоритма декомпозиции. Также величина порога T пор может быть глобальной или задаваться на каждом уровне декомпозиции. Условие принадлежности сегмента к классу ROI записывается как пор T S S i , (3.5) 101 где S i – фоновое значение яркости в сегменте-потомке, S – фоновое значение яркости в материнском сегменте. Рисунок 3.16 – Схема декомпозиции снимка видеоролика Схема алгоритма формирования сегментов в снимке видеопоследовательности представлена на рисунке 3.17. В блоках 1 и 2 вводится порог и сам снимок из видеоролика. В блоке 3 определяется фон в исходном снимке. Затем снимок декомпозируется на четыре сегмента-потомка (блок 4). Так как потомка четыре, то в цикле (блок 5) осуществляется поиск сегментов- потомков, принадлежащих ROI. Если среди этих потомков находится потомок ROI , то он переходит на второй уровень и также осуществляется его декомпозиция на четыре потомка (блоки 8, 9, 10, 11). Так как это последний уровень декомпозиции, то координаты сегментов ROI формируют соответствующее множество (блок 12). Возможна ситуация, когда для сегмента ROI первого уровня не удается выполнить декомпозицию на втором уровне (блок 13). Тогда в множество ROI записываются координаты сегмента первого уровня (блок 14). 102 Рисунок 3.17 – Схема алгоритма формирования сегментов (начало) Начало Вводим глобальный порог Вводим снимок из видеоролика = 1 3 Устанавливаем границы квадрантов Определяем глобальный фон Делим снимок на четыре равных сегмента P 4 2 = 1, 4 5 = 1 Определяем фон i- го сегмента 3 Т пор 1 2 1 6 4 103 Рисунок 3.17 – Схема алгоритма формирования сегментов (продолжение) Делим i-й сегмент на четыре равных сегмента = 1 𝑖 10 Устанавливаем границы квадрантов 8 7 7 6 5 3 2 1 = 1, 4 9 𝑖 11 12 4 8 да нет нет да 104 Рисунок 3.17 – Схема алгоритма формирования сегментов (окончание) Пример декомпозиции снимка с фрагментом пламени представлен на рисунке 3.18. Исходное изображение разбивается на четыре сегмента исходя из геометрических размеров снимка, что осуществляется в блоке 4 алгоритма. Затем для каждого из четырех полученных сегментов проверяется условие (3.5). Рисунок 3.18 – Пример сегментации снимка на первом уровне декомпозиции Объединяем границы сегментов S ij и S i(j+1) i+j ROI 19 12 10 9 20 13 да нет 11 14 105 На следующий уровень декомпозиции – второй переходят не все сегменты, а только те сегменты, для которых выполняется условие (3.5). Это условие выполняется для сегмента №1 (рисунок 3.18), поэтому он переходит на второй уровень декомпозиции, где в блоке 8 он также делится на четыре сегмента ( рисунок 3.19). Рисунок 3.19 – Декомпозиция сегмента №1 на втором уровне Затем в блоке 11 устанавливается принадлежность сегментов второго уровня к классу ROI. После просмотра сегментов второго уровня формируется множество ROI. При необходимости элементы этого множества могут объединяться. Для выполнения этой процедуры в алгоритм включены блоки 15…20. Сущность процедуры объединения сегментов состоит в том, что если сегменты класса ROI имеют общую границу, то она может быть устранена, и размер сегмента класса ROI увеличится по соответствующей координате. Процесс увеличения размера сегмента представлен в виде двух этапов на рисунке 3.20. Рисунок 3.20 – Иллюстрация двух этапов увеличения размера сегмента, выполняемого в блоке 20 106 После получения множества ROI сегменты этого множества делятся на три класса пожароопасности – «пламя», «дым», «чисто». Структурная схема классификатора, использующая этот алгоритм сегментации, представлена на рисунке 3.21. Блок формирования дескрипторов R Исходный снимок Блок формирования сегментов R G B Блок формирования дескрипторов G Блок формирования дескрипторов B NET R NET G NET B NET “Пламя” “Дым” “Чисто” Рисунок 3.21 – Структурная схема классификатора видеоданных Блок формирования сегментов делит снимок на прямоугольные сегменты и осуществляет их расщепление на три RGB-изображения, которые поступают на блоки формирования дескрипторов. Векторы дескрипторов подаются на соответствующие входы классификаторов, которые в этой архитектуре выступают как «слабые» классификаторы. «Сильный» классификатор, выполненный по схеме многослойного персептрона, осуществляет агрегацию их решений [81]. Снимки формировались из различных источников по видеопотокам, поступающих с дронов. Для формирования базы данных снимков для формирования обучающих и контрольных выборок из каждого ролика извлекалось множество кадров, что позволяет быстро получить большой и качественный датасет. Снимки сегментировались в полуавтоматическом режиме. Затем выделенные сегменты маркировались в ручном режиме. Таким образом, 107 была получена база данных для формирования обучающих выборок для классификаторов, разделяющих сегменты на три класса. Обучающие выборки включают множество дескрипторов с соответствующим маркером класса. Если в системе используются динамические сегменты (рисунке 3.16), то обучающие выборки формируются для каждого размера сегмента, так как размер вектора дескрипторов и значения его компонент зависят от его размера. В этом случае «слабые» и «сильные» классификаторы настраиваются для каждого размера сегмента. Таким образом, оптимизация оперативности принятия решений в системе требует дополнительных усилий по настройке классификаторов и увеличивает как объем обучающих выборок, так и количество классификаторов. |