Угрозы информационной безопасности. кт4_ИБ-21-2_ФедороваОльга. 4 Современное состояние в области предотвращения и обнаружения вторжений 1 введение
 Скачать 175.54 Kb.
|
|
4 Современное состояние в области предотвращения и обнаружения вторжений 1.1 ВВЕДЕНИЕ Обнаружение выбросов является важной задачей анализа данных. Он используется во многих областях для выявления интересных и возникающих закономерностей, тенденций и аномалий на основе данных. Обнаружение выбросов используется для обнаружения аномалий во многих различных областях, включая вторжение в компьютерную сеть; анализ экспрессии генов; идентификацию начала заболевания, включая обнаружение рака; обнаружение финансового мошенничества; и анализ поведения человека. Среди четырех основных задач интеллектуального анализа данных обнаружение выбросов наиболее близко к мотивации интеллектуального анализа данных, поскольку обнаружение интересных закономерностей и моделирование взаимосвязей являются основными целями исследований интеллектуального анализа данных. Обнаружение выбросов, также известное как обнаружение аномалий, обнаружение отклонений, обнаружение новизны и интеллектуальный анализ исключений, широко изучалось в интеллектуальном анализе данных, а также в статистике и машинном обучении. Выброс - это особое событие или объект, который не похож на остальные данные. Выбросы считаются важными, поскольку они могут представлять важную информацию, которая часто требует принятия критических мер в широком диапазоне областей применения. Например, выброс на МРТ-изображении может указывать на наличие злокачественной опухоли. Аномальное поведение при транзакциях по кредитным картам может указывать на подделку, а необычная схема трафика в сети может означать, что компьютер взломан и он передает секретные данные неавторизованному адресату. Компьютерное вторжение включает взлом и распространение вирусов и червей по сетям с целью проникновения на локальную или удаленную машину или нанесения ущерба с помощью распределенных атак типа "отказ в обслуживании" (DDoS). Однако вторжение составляет лишь небольшой процент от общего объема использования сети и компьютера, который считается нормальным использованием. Это небольшое количество действий по вторжению сильно отличается от обычных или обычных действий пользователя и, следовательно, может быть легко обнаружено с помощью технологий обнаружения выбросов. Обнаружение выбросов может использоваться для выявления вредоносных действий программ, а также хакеров по данным сетевого трафика и компьютерной активности. В этой главе было представлено обнаружение выбросов наряду с тематическими исследованиями и объяснениями различных методов обнаружения выбросов. Были обсуждены существующие методы обнаружения выбросов, основанные на различных областях применения. Эта глава призвана стать всеобъемлющим справочником в области обнаружения и предотвращения вторжений. Он может быть использован в качестве справочного пособия для академиков, а также в качестве подходящего учебника для студентов и аспирантов последнего курса. В разделе 1.2 мы начнем с основ обнаружения выбросов. Мы предоставляем определения “выброса”, широко адаптированные в данной области. Затем мы обсудим взаимосвязь с обнаружением аномалий, типами данных, типами выбросов, методами оценки и задачами исследования. В разделе 1.3 мы выделяем метки данных и то, как методы обнаружения выбросов классифицируются на основе меток данных. Мы также упоминаем результаты обнаружения выбросов. Раздел 1.4 включает область применения обнаружения выбросов. Мы обсуждаем несколько важных областей и включили одно тематическое исследование для обнаружения вторжений. В разделе 1.5 мы обсудим методологии обнаружения выбросов на основе кластеризации. Эти методы подразделяются на две группы в зависимости от их результатов. Это подходы, основанные на подсчете очков и бинарных опционах. Мы также обсуждаем достоинства и Обнаружение Выбросов 5 недостатки этих методов. В разделе 1.6 статистические подходы к выявлению выбросов обсуждаются в двух широких категориях, включая их преимущества и недостатки. Наконец, мы завершаем главу в разделе 1.7 с последующими необходимыми ссылками. ОСНОВЫ ОБНАРУЖЕНИЯ ВЫБРОСОВ Определение Из четырех основных задач интеллектуального анализа данных обнаружение выбросов наиболее близко к мотивации интеллектуального анализа данных для обнаружения интересных закономерностей. Обнаружение выбросов широко изучалось не только с точки зрения интеллектуального анализа данных, но и в области статистики и машинного обучения [1]. Одно из широко распространенных определений “выброса” дано Хокинсом [2]. По его словам, “Выброс - это наблюдение который настолько сильно отличается от других наблюдений, что вызывает подозрения, что он был создан другим механизмом”. Барнетт и Льюис [3] определили выброс: “Выброс - это наблюдение или подмножество наблюдений, которые, по-видимому, не согласуются с остальными данными”. Обнаружение выбросов также определяется специально для различных методов, таких как следующие: Выброс на основе кластеризации: Выбросы - это точки, которые не принадлежат кластерам набора данных или являются кластерами, которые значительно меньше других кластеров [4,5]. Выброс на основе глубины: Выбросы - это точки в неглубоких выпуклых слоях оболочки с наименьшей глубиной [6]. Выброс на основе графиков: Выбросы - это точки, которые присутствуют в определенных позициях на графике [7]. Выбросы на основе плотности: Выбросы - это точки, которые лежат в более низкой локальной плотности по отношению к плотности ее локальной окрестности [8]. Выброс на основе нейронной сети: Точки, которые плохо воспроизводятся на выходном слое с высокой ошибкой восстановления, рассматриваются как выбросы [9]. Выброс на основе машины опорных векторов: Точки, удаленные от большинства других точек или точек, присутствующих в относительно разреженных областях пространства объектов, считаются выбросами [10]. Пространственный выброс: Пространственный выброс - это пространственно привязанная точка, значения пространственных атрибутов которой значительно отличаются от значений других пространственно привязанных точек в ее пространственной окрестности [11]. Связь с Обнаружением Аномалий Обнаружение выбросов также называется обнаружением аномалий, обнаружением отклонений, обнаружением новизны, анализом исключений и т.д. Обнаружение выбросов и обнаружение аномалий - это почти одно и то же, но выбросы больше ориентированы на данные и следуют строгим правилам, например, в нормально распределенных данных μ + 3σ рассматривается как выброс. Аномальные события не возражают против того, чтобы подпадать под действие правил. Например, один человек ходит играть в большой теннис каждый день в течение месяца, но если один и тот же человек однажды днем играет в настольный теннис вместо большого тенниса, это можно рассматривать как аномальное событие. Если мы рассмотрим это событие в наборе данных, то это может быть обнаружено как выброс. Таким образом, аномалии и выбросы связаны друг с другом и, следовательно, могут быть исследованы вместе. 6 Современное состояние в области предотвращения и обнаружения вторжений Типы Данных Одним из важных вопросов обнаружения выбросов является характер данных. При обнаружении выбросов перспективные данные также рассматриваются как точка, объект, запись, вектор, образец, наблюдение и т.д. Каждый экземпляр данных может быть объяснен с помощью группы функций или атрибутов. В основном атрибуты формируют экземпляр данных и его характеристики. Атрибуты могут быть двоичными, непрерывными или категориальными. Каждый экземпляр данных может состоять из различных типов атрибутов. Как правило, существует два типа данных: простые и сложные. Простые Данные Простые данные - это наиболее часто используемые данные с низкой размерностью и реальными атрибутами. Почти все методы обнаружения выбросов могут быть применены к простым данным. Сложные Данные Сложные данные создают значительные проблемы для методов обнаружения выбросов в силу их природы. Сложные данные содержат смесь различных типов атрибутов с большими размерами. Данные последовательности, пространственные данные, потоковые данные и пространственно-временные данные обычно считаются сложными. Типы Выбросы На основе данных и методов обнаружения выбросы можно разделить на следующие группы: Точечные Выбросы Когда конкретный экземпляр данных не следует за остальными данными, его можно рассматривать как точечный выброс. В качестве реалистичного примера мы можем рассмотреть расходы на автомобильное топливо. Если обычный расход топлива в день составляет пять литров, а в один прекрасный день он становится 50 литрами, то, очевидно, это точечный выброс. На рисунке 1.1 поясняется концепция точечного выброса. Контекстуальные Выбросы Когда экземпляр данных ведет себя аномально в определенном контексте, а не иначе, он называется контекстуальным выбросом, который также можно назвать условным выбросом. Например, расходы по кредитной карте в праздничный период не такие, как в обычное время года. Если регулярные расходы каждый месяц составляют 500 долларов США, что является нормальным, то расходы в размере 2000 долларов США в непраздничный период считаются ненормальными и, следовательно, являются контекстуальным выбросом (рисунок 1.2). Коллективные Выбросы Когда коллекция аналогичных экземпляров данных ведет себя аномально, то по отношению ко всему набору данных эта коллекция называется коллективным выбросом. Может случиться так, что отдельный экземпляр данных сам по себе не является выбросом, но из-за его присутствия в коллекции он становится выбросом.  РИСУНОК 1.1 Точка выброса.  2500  Расходы ($) 2000 1500 1000 500 0 Янв Март Май Июль Сентяб Ноябрь Ян Март Май Июльl РИСУНОК 1.2 Контекстуальный выброс. Обнаружение Выбросов 7 Например, в выводе электрокардиограммы человека наличие низкого значения в течение длительного периода времени указывает на отдаленное явление, соответствующее аномальному преждевременному сокращению [12]. Но одно низкое значение само по себе не является выбросом. Эволюция Методов Методы обнаружения выбросов оцениваются главным образом следующими двумя способами: ROC кривая Кривая рабочей характеристики приемника (ROC) [13] представляет собой двумерный график, используемый для отображения частоты обнаружения и частоты ложных срабатываний. Частота обнаружения определяет правильно идентифицированные выбросы, в то время как частота ложных тревог противоположна. На рисунке 1.3 представлена идеальная кривая ROC, в которой частота обнаружения высока, а частота ложных тревог очень низка. Вычислительная сложность Эффективность методов обнаружения выбросов также может быть рассчитана с помощью вычислительных затрат, что, по-видимому, является универсальным методом. Эффективная методика отражается на ее временной и пространственной сложности независимо от типа данных. Кроме того, эффективные методы должны обладать способностью обрабатывать большие и многомерные данные с меньшей вычислительной нагрузкой. Определяемые Пользователем Параметры Существующие методы обнаружения выбросов требуют определяемых пользователем параметров, которые очень важны для эффективности и результативности. Выбор оптимального параметра не всегда прост и требует тщательного тестирования. Поэтому минимальное использование определяемых пользователем параметров более применимо для методов обнаружения выбросов. Исследовательские Задачи Хотя обнаружение выбросов кажется очень простым, поскольку нам просто нужно найти данные, которые не соответствуют нормальному поведенческому шаблону. Но все еще существуют некоторые исследовательские проблемы, несмотря на такое количество доступных методов. Исследовательские задачи заключаются в следующем: Не существует универсального метода обнаружения выбросов. Один метод в области не подходит для других. Например, в медицинской области выбросы очень малозаметны, тогда как при обработке изображений это может рассматриваться как нормальное явление. Данные содержат шум, который имеет тенденцию быть аномальным и, следовательно, его трудно разделить. Маркированные данные для обучения моделей, используемых многими методами, практически недоступны.  1  Частота обнаружения 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 Частота ложных обнаружений 0.7 0.8 0.9 1 РИСУНОК 1.3 ROC кривая  © 2010 Taylor & Francis Group, LLC |