Реферат. 3 Показатели производительности проектных прогнозов тестовых случаев
 Скачать 17.74 Kb.
|
|
c/ 63 На рисунке 3.6a показана начальная и следующая карта ожогов, полученная в результате моделирования. На рисунке 3.6b показана окончательная карта горения, предсказанная DC IGN. На рисунке 3.6c выделены пиксели, для которых прогноз DC IGN не соответствовал прогнозам моделирования. Пиксели, показанные черным цветом, представляют ошибки ввода в эксплуатацию (ложное срабатывание при пожаре), а пиксели, показанные оранжевым цветом, представляют ошибки пропуска (ложное срабатывание при пожаре). Средняя точность, чувствительность и F-мера 1000 тестовых симуляций (3000 пар карт ожогов) показаны в таблице 3.3. Каждый показатель варьируется от нуля до единицы, при этом идеальный балл равен единице. Распределение F-меры для 3000 пар карт ожогов показано на рис. 3.7. Процентили каждой метрики приведены в таблице 3.3 для количественной оценки разброса каждой оценки. Здесь процентиль определяется как где X - процентиль, N(Y) - количество карт ожога, набравших определенный балл, Total - общее количество карт ожога, Ymin - минимальный балл. Например, показатель F, равный 0,86 для X = 80%, показанный в таблице 3.3, означает, что 80% (2400/3000) пар карт ожогов имели показатель F, равный 0,86 или выше. Таблица 3.3: Показатели производительности проектных прогнозов тестовых случаев 3.5 Обсуждение Общая форма карт ожогов, предсказанных ПРОЕКТОМ, согласуется с моделированием для 1000 тестовых симуляций (3000 пар карт ожогов), рассмотренных в этой работе, как показано в примерах Рисунок 3.6: Пример результатов прогнозирования DCIGN Рисунок 3.7: F-мера распределения прогнозов DCIGN для тестовых случаев. на рис. 3.6. Карты ожогов, предсказанные DCIGN, не содержат нефизических дыр или чрезмерного шума. Направление максимального роста зафиксировано хорошо. На рисунке 3.6 показано, что DCIGN способен прогнозировать рост малых (1 км2, строки 2 и 4), промежуточных (10 км2, строки 1 и 5) и крупных (100 км2, строка 3) пожары. Во всех тестовых примерах не наблюдалось значительного смещения в чрезмерном или заниженном прогнозировании пожаров, о чем свидетельствуют сопоставимые средние чувствительность и точность, приведенные в таблице 3.3. Однако разброс в чувствительности выше, чем разброс в точности, как показано X = 80%, X = 90%, а X = 95% показано в таблице 3.3. Анализ гистограммы F, показанной на рис. 3.7, показывает резкое падение числа случаев при F < 0,8. Таблица 3.4: Влияние шума на показатели производительности проектных прогнозов тестовых случаев Чувствительность Точность F-Мера Базовый шум 80% Базовый шум 80% Базовый шум 80 Одним из ключевых преимуществ архитектуры DCIGN, представленной в этой работе, является масштабируемость в неоднородных пространственных условиях. Напомним, что общее время выполнения 10 000 симуляций с использованием модели Ротермела составило 30,6 с по сравнению с 38,1 с, требуемыми для DCIGN. Феноменологическая модель, вероятно, будет работать быстрее при оценке распространения пожара из одной точки в однородных условиях. Однако при использовании принципа Гюйгенса для оценки модели Ротермела в неоднородных пространственных условиях периметр пожара должен быть дискретизирован и оценен для каждой точки по периметру. Это приводит к значительному увеличению вычислительного времени по мере увеличения размера пожара. Поскольку DCIGN уже анализирует все входные каналы как каналы двумерного изображения, нет увеличения вычислительных затрат на добавление разнородных условий. В качестве примера, периметр пожара 10 км с 30-метровой сеткой потребует 333 оценок феноменологической модели с общим вычислительным временем 1,0 с. Подход DCIGN потребует однократной оценки с общим вычислительным временем 0,004 секунды. Несмотря на то, что модель была обучена с использованием шестичасового временного интервала между входными и выходными картами записи, можно получить прогнозы в точках, расположенных дальше в будущем, с шестичасовыми интервалами, рекурсивно используя предыдущее предсказание в качестве входных данных для DCIGN. На рисунке 3.9 показаны пять примеров случаев, когда этот процесс использовался для прогнозирования карт горения до 24 часов с момента воспламенения на основе входной карты горения через шесть часов после воспламенения. Результаты для каждого случая показывают, что общее направление распространения улавливается хорошо, с F > 0,8 во всех случаях, за исключением четвертого случая, когда входные и пожары на выходе невелики. Чувствительность прогнозов обычно увеличивается со временем, в то время как точность обычно уменьшается со временем. Это показывает, что на ранних стадиях развития пожара модель недооценивает скорость распространения, что подчеркивает трудности, с которыми может столкнуться DCIGN при работе с низкой плотностью объектов. Позже, по мере развития пожара, модель начинает переоценивать скорость распространения. Поскольку сеть была обучена на постоянных скоростях распространения для каждой конфигурации, чрезмерное предсказание, вероятно, является результатом чрезмерной коррекции сети для первоначального недостаточного прогнозирования скорости распространения. Надежность разработанного подхода была проверена путем переподготовки и тестирования сети с использованием моделирования лесных пожаров с неоднородными ландшафтными и растительными условиями. Моделирование распространения пожара было завершено с использованием FARSITE, который имеет двумерную реализацию модели распространения пожара Ротермела [113]. Вычислительная область для каждого моделирования состояла из области размером 50х50 км с разрешением сетки 0,03 км. Каждое моделирование проводилось в течение 48 часов распространения огня с выводом периметров пожара каждые 1,0 часа времени моделирования. В этом исследовании были использованы реалистичные карты ландшафта и растительности из проекта LANDFIRE [123] с 1000 случайно выбранными регионами штата Калифорния. Для каждого моделирования ландшафт и растительность были выбраны случайным образом из набора из 1000 регионов, содержание влаги и скорость ветра были рандомизированы. В этом исследовании было использовано в общей сложности 2500 симуляций FARSITE. Пары карт записи извлекались каждые 6 часов, что дало примерно 17 500 сценариев. Пример смоделированной карты ожогов с использованием FARSITE показан на рис. 3.10. Вычислительное время для выполнения каждого моделирования в FARSITE варьировалось в зависимости от размера периметра пожара. Совокупная плотность вероятности вычислительного времени для 2500 симуляций, использованных в этом исследовании, показана на рис. 3.11. Примерно 80% симуляций на дальних площадках выполнялись менее чем за час; однако для многих крупных пожаров требовалось 1-6 часов времени выполнения. Прогнозируемые карты ожогов и пространственные входные данные были сведены к пространственной сетке длиной 1 км, чтобы соответствовать разрешению предыдущего исследования с использованием медианного фильтра. Примерный набор ландшафта с пониженной выборкой имитацией было наличие негорючих поверхностей (обычно соответствующих дорогам, рекам и т.д.). Было замечено, что невоспламеняющиеся поверхности часто соответствовали только одному или двум пикселям в альбомном файле. В процессе понижающей выборки эти пиксели часто удалялись, что приводило к тому, что DCIGN не получал никаких сведений о поверхности, не подлежащей выгоранию. Эти результаты показывают, что прогнозы распространения огня по неоднородным ландшафтам следует делать с более высоким разрешением, чтобы лучше отразить воздействие негорючих поверхностей. 3.6 Заключение Был представлен новый основанный на данных подход к прогнозированию распространения лесного пожара с использованием глубокой сверточной нейронной сети с обратной графикой (DCIGN). Надежность подхода была проверена с использованием 1000 симуляций (3000 пар карт записи), не включенных при обучении сети. Предсказания карт ожогов, полученные с помощью подхода, основанного на DCIGN, согласуются с результатами моделирования со средней точностью, чувствительностью и F-мерой 0,97, 0,92 и 0,93 соответственно по разнообразному набору входных параметров. Было обнаружено, что шум во входных параметрах оказывает минимальное влияние на прогнозы DCIGN. Вычислительная стоимость метода оказалась сопоставимой с моделированием феноменологической модели для однородных пространственных условий и в 102-105 раз быстрее, чем феноменологическая модель в гетерогенных пространственных условиях. Несмотря на то, что подход, основанный на DCIGN, обучен прогнозам с интервалом в шесть часов, он способен прогнозировать карты ожогов в будущем, рекурсивно используя предыдущие прогнозы в качестве входных данных для модели. Было обнаружено, что в случаях, когда F-мера была меньше 0,80, входные карты записи имели размер менее девяти пикселей. Это указывает на то, что по мере того, как огонь продолжает расти, прогнозы будут продолжать улучшаться. Предварительное исследование, предсказывающее распространение огня по неоднородным ландшафтам, показало, что метод потенциально может обеспечить быструю оценку распространения пожара; однако, распространение огня по неоднородным ландшафтам должно быть выполнено с более высоким разрешением, чтобы лучше отразить пространственные различия. Эта работа представляет собой первый шаг в создании основы для прогнозирования распространения лесных пожаров на основе физических моделей и исторических данных. Хотя данные, использованные для обучения DCIGN в этой работе, были сгенерированы с использованием феноменологической модели, модель не содержит никакой информации о том, получены ли данные из модели вычислительной гидродинамики, феноменологической модели или даже экспериментальных измерений карт ожогов. Кроме того, предварительное исследование с неоднородной растительностью и ландшафтами показывает, что аспект изучения характеристик метода, основанного на DCIGN, хорошо подходит для прогнозирования реалистичных условий распространения пожара. Следующим шагом в этом процессе является увеличение рабочего разрешения и оптимизация сетевой архитектуры для неоднородных пространственных условий. |