Назначение пакета SAS Enterprise Miner. Пакет SAS Enterprise Miner позволяет оптимизировать процесс Data Mining в целом, начиная от организации доступа к данным и заканчивая оценкой готовой модели [104].
Пакет поддерживает выполнение всех необходимых процедур в рамках единого интегрированного решения с возможностями коллективной работы и поставляется как распределенное клиент-серверное приложение, что особенно удобно для осуществления анализа данных в масштабах крупных организаций. Пакет SAS Enterprise Miner предназначен для специалистов по анализу данных, маркетинговых аналитиков, маркетологов, специалистов по анализу рисков, специалистов по выявлению мошеннических действий, а также инженеров и ученых, ответственных за принятие ключевых решений в бизнесе или исследовательской деятельности.
Пакет SAS Enterprise Miner обеспечивает эффективную обработку огромных объемов данных и предоставляет простые способы публикации результатов анализа для различных аудиторий, что позволяет встраивать эти модели в бизнес-процессы предприятия.
Обзор программного продукта
Пакет SAS Enterprise Miner 5.1 поставляется в виде современной распределенной клиент- серверной системы для Data Mining или для углубленного анализа данных в крупных организациях. Пакет позволяет оптимизировать процессы анализа данных, поддерживая все необходимые шаги в рамках единого решения, а также возможности гибкого сотрудничества больших рабочих групп в рамках единого проекта. Система обеспечивает расширенную интеграцию с системами управления данными и развертывания моделей, а благодаря широкому спектру выбора конфигурации пакета в зависимости от требований бизнеса нет необходимости приобретать системы специализированных решений.
Графический интерфейс (GUI) для анализа данных
В пакете SAS Enterprise Miner реализован подход, основанный на создании диаграмм процессов обработки данных и позволяющий устранить необходимость ручного кодирования и ускорить разработку моделей благодаря методике Data Mining SEMMA.
Среда для формирования диаграмм процессов обработки данных пакета SAS Enterprise
255
Miner устраняет необходимость ручного кодирования, диаграммы выступают в качестве самоописательных шаблонов, которые можно изменять или применять для решения новых проблем, не повторяя анализ с самого начала. Существует возможность обмена диаграммами между аналитиками в масштабах предприятия.
Графический пользовательский интерфейс пакета является интерфейсом типа "указать и щелкнуть". С его помощью пользователи могут выполнить все стадии процесса Data
Mining от выбора источников данных, их исследования и модификации до моделирования и оценки качества моделей с
последующим применением полученных моделей, как для обработки новых данных, так и для поддержки процессов принятия решений. Главное окно SAS Enterprise Miner представлено на рис. 23.1
Рис. 23.1. Главное окно SAS Enterprise Miner
Инструментарий для углубленного интеллектуального анализа данныхНовая версия пакета SAS Enterprise Miner 5.1 спроектирована с использованием архитектуры Java-клиент / SAS-сервер, которая позволяет отделить вычислительный сервер, выполняющий обработку данных, от пользовательского интерфейса. Это обеспечивает гибкость в выборе конфигурации эффективного решения - от однопользовательской системы до крупнейших решений корпоративного масштаба.
Обработку данных можно выполнять на мощных серверах, а конечные пользователи могут перемещаться из офиса домой или в отдаленные филиалы, не теряя связи с аналитическими проектами и сервисами. Некоторые серверные задачи, интенсивно использующие ресурсы процессора, например сортировка и агрегация данных, отбор переменных и регрессионный анализ, сделаны многопоточными, что позволяет распределить их выполнение между несколькими процессорами.
256
Процессы в Enterprise Miner могут работать параллельно и в асинхронном режиме.
Масштабные или повторяющиеся процессы обучения модели или скоринга могут быть выполнены в виде пакетного задания, назначенного на наименее загруженные часы работы аналитического сервера.
Набор инструментов для подготовки, агрегации и исследования данныхПакет SAS Enterprise Miner предлагает различные инструменты для осуществления подготовки данных, которые дают возможность, например, сделать выборку или разбивку данных, осуществить вставку недостающих значений, провести кластеризацию, объединить источники данных, устранить лишние переменные, выполнить обработку на языке SAS посредством специализированного узла SAS code, осуществить преобразование переменных и фильтрацию недостоверных данных. Пакет оснащен функциями описательной статистики, а также расширенными средствами визуализации, которые позволяют исследовать сверхбольшие объемы данных, представленных в виде многомерных графиков, и производить графическое сравнение результатов моделирования.
Платформенно-независимый пользовательский интерфейс пакета SAS Enteprise Miner 5.1 создан на базе Java и предоставляет пользователям широкий набор средств статистической графики с гибкими возможностями настройки и управления. Для создания специальных графиков предусмотрен Java-мастер. Все графики и лежащие в их основе таблицы динамически связаны между собой и поддерживают интерактивные режимы работы.
Интегрированный комплекс разнообразных методов моделированияПакет SAS Enterprise Miner предоставляет набор инструментов и алгоритмов прогностического и описательного моделирования,
включающий деревья решений, нейронные сети, самоорганизующиеся нейронные сети, методы рассуждения, основанные на механизмах поиска в памяти (memorybased reasoning), линейную и логистическую регрессии, кластеризацию, ассоциации, временные ряды и многое другое.
Интеграция различных моделей и алгоритмов в пакете Enterprise Miner позволяет производить последовательное сравнение моделей, созданных на основе различных методов, и оставаться при этом в рамках единого графического интерфейса. Встроенные средства оценки формируют единую среду для сравнения различных методов моделирования, как с точки зрения статистики, так и с точки зрения бизнеса, позволяя выявить наиболее подходящие методы для имеющихся данных. Результатом является качественный анализ данных, выполненный с учетом специфических проблем конкретного бизнеса.
Интегрированные средства сравнения моделей и пакеты результатовПакет SAS Enterprise Miner оснащен рядом встроенных функций контроля, работающих в рамках единой оболочки и обеспечивающих сравнение результатов различных методов моделирования как с точки зрения статистики, так и с точки зрения бизнеса.
Полученные модели можно публиковать для совместного использования в рамках предприятия при помощи репозитария моделей, представляющего собой первую на рынке систему управления моделями. Управление моделями обеспечивает модуль Enterprise
257
Miner Repository. Пакет предоставляет ряд встроенных оценочных функций, позволяющих
сравнить результаты различных методов моделирования, как в терминах бизнеса, так и с использованием статистической диагностики. Это дает возможность измерить эффективность модели в терминах ее прибыльности. Аналитики могут наблюдать за обновляемыми моделями и отслеживать улучшение их точности с течением времени.
Созданные диаграммы можно сохранять и импортировать в виде XML-файлов, что облегчает процесс их передачи другим аналитикам. SAS Enterprise Miner позволяет создавать сжатые пакеты с результатами моделирования, в которых хранится вся информация о процессе обработки данных, включая предварительную обработку данных, логику моделирования, результаты моделирования и оценочный код. Эти пакеты результатов могут быть зарегистрированы на сервере метаданных (SAS Metadata Server), откуда их потом могут извлекать для изучения специалисты по анализу данных и представители бизнеса. Специальный модуль с Web-интерфейсом предусмотрен для просмотра репозитария моделей.
Скоринг по модели и простота развертывания моделиИтогом работ по интеллектуальному анализу данных является развертывание созданной модели - это заключительная стадия, на которой реализуется экономическая отдача от проведенных исследований. Процесс применения модели к новым данным, известный как скоринг, часто требует ручного написания или преобразования программного кода. Пакет
SAS Enterprise Miner автоматизирует процесс подбора коэффициентов и предоставляет готовый программный код для скоринга на всех стадиях создания модели, поддерживает создание различных программных сред для развертывания модели на языках SAS, C, Java и PMML. Этот программный код может использоваться в различных средах (в пакетном режиме или в реальном времени) в системе SAS, в Web или непосредственно в реляционных базах данных. Пакет создает код для аналитических моделей и для предварительной обработки данных.
Когда оценочный код создан, можно проводить скоринг наборов данных как непосредственно в Enterprise Miner, так и экспортировать скоринг-код и выполнить скоринг на другой машине, а также отторгнуть формулу для скоринга для применения в пакетном режиме или в режиме реального времени в Web или непосредственно в реляционных базах данных.
Гибкость благодаря открытости и расширяемостиПакет Enterprise Miner предоставляет настраиваемую и расширяемую среду интеллектуального анализа данных, позволяющую добавлять инструментальные средства и интегрировать персонифицированный код на языке SAS.
Стандартную инструментальную библиотеку, входящую в состав пакета SAS Enterprise Miner 5.1, легко расширить при помощи средств настройки, использующих язык SAS и XML-логику.
Кроме того, есть возможность использования экспериментального интерфейса Java API, позволяющего встраивать процессы пакета Enterprise Miner в различные пользовательские приложения. Эта возможность может оказаться особенно плодотворной для компаний, стремящихся создать собственное аналитическое приложение, которое будет сочетать в себе, например, возможности создания OLAP-отчетов и выполнения интеллектуального анализа данных в рамках единого интерфейса.
258
Встроенная стратегия обнаружения данныхИнтеллектуальный анализ данных становится особенно эффективным, если он является составной частью интегрированной стратегии предоставления информации. Пакет
Enterprise Miner органично интегрируется с другими предложениями SAS, например, пакетом SAS ETL Studio, средствами аналитической обработки OLAP, прогностическим и другими аналитическими модулями, а также с приложением SAS Text Miner. Подход SAS к созданию информационно-аналитических систем кратко будет изложен в конце лекции.
Распределенная система интеллектуального анализа данных, ориентированная на крупные предприятияПакет SAS Enterprise Miner может быть развернут с использованием Web-портала для тонких клиентов, что обеспечивает удобный доступ к пакету для множества пользователей при минимальных затратах на обслуживание клиентских программ. Пакет
SAS Enterprise Miner поддерживает серверные системы Windows, а также различные
UNIXплатформы. Технические характеристики пакета изложены в конце этой лекции.
Основные характеристики пакета SAS Enterprise Miner 5.1ИнтерфейсыПростой графический интерфейс, создающий диаграммы процессов обработки данных:
•
Быстрое создание большого числа качественных моделей.
•
Возможность доступа через Web-интерфейс.
•
Доступ к среде программирования SAS.
•
Возможность обмена диаграммами в формате XML.
•
Возможность повторного использования диаграмм в качестве шаблонов для других проектов и пользователей.
Пакетная обработка:
•
Включает в себя все те же возможности, что и графический интерфейс.
•
Основана на языке SAS macro.
Экспериментальный интерфейс Java API.
Репозитарий моделей с Web-интерфейсом:
•
Управление большими портфелями моделей.
•
Поиск моделей по заданному алгоритму, целевой переменной и т.п.
•
Публикация результатов в виде ступенчатых диаграмм,
деревьев и скоринг-кодов, удобных для специалистов в области бизнеса и анализа данных.
Масштабируемая обработка•
Серверная обработка - обучение модели в асинхронном режиме. Аккуратная остановка обработки (по заданным критериям).
•
Параллельная обработка - одновременный запуск нескольких диаграмм или инструментов.
259
•
Многопоточные прогностические алгоритмы.
•
Все хранение и обработка данных - на серверах.
Доступ к данным
Доступ более чем к 50 различным файловым структурам.
Интеграция с пакетом SAS ETL Studio посредством SAS Metadata Server:
•
SAS ETL Studio можно использовать для определения исходных, обучающих таблиц для пакета Enterprise Miner.
•
SAS ETL Studio можно использовать для извлечения и развертывания скоринг-кода пакета
Enterprise Miner.
Выборки
•
Простая случайная.
•
Стратифицированная.
•
Взвешенная.
•
Кластерная.
•
Систематическая.
•
Первые N наблюдений.
•
Выборка редких событий.
Разбивка данных
•
Создание обучающих, проверочных и тестовых наборов данных.
•
Обеспечение качественного обобщения моделей на основании контрольных данных.
•
Стандартная стратификация по целевому классу.
•
Сбалансированная разбивка по любой классовой переменной.
Преобразования
•
Простые: логарифмическое, квадратный корень, обратное, квадратичное, экспоненциальное, стандартизованное.
•
Накопительные: bucketed (с разбивкой по областям), квантильное, оптимизированная разбивка по взаимосвязи с целевымм значениями.
•
Оптимизированные: максимизация нормализации, максимизация корреляции с целевыми значениями, выравнивание распределения по целевым уровням.
Фильтрация недостоверных данных
•
Применение различных распределительных порогов, позволяющих исключить значения из экстремальных интервалов.
•
Объединение классовых значений, встречающихся менее n раз.
Замена данных
•
С использованием мер центрированности.
•
На основе распределения.
•
Заполнение дерева суррогатными значениями.
•
Методом усреднения расстояний.
260
•
С использованием устойчивых M-оценок.
•
С использованием стандартных констант.
Описательная статистика
Одномерные статистические таблицы и графики:
•
Интервальные переменные n, среднее, медиана, минимум, максимум, стандартное отклонение, масштабированное отклонение и процент отсутствия.
•
Классовые переменные число категорий, счетчики, модальные, процентные модальные, процент отсутствия.
•
Графики распределения.
•
Статистическая разбивка для каждого уровня целевых классов.
Двумерные статистические таблицы и графики:
•
Упорядоченные графики корреляции Пирсона и Спирмана.
•
Упорядоченный график хи-квадрат с возможностью группировки непрерывных исходных данных по n группам.
•
График коэффициентов вариации.
Отбор переменных по logworth-критерию.
Другие интерактивные графики:
•
"Тепловые" карты, отражающие корреляцию или ассоциацию типа хи-квадрат первоначальных значений с целевыми признаками по сегментам.
•
Графики стоимости переменных, ранжирующие первоначальные значенияна основании их стоимости по целевому признаку.
•
Распределения классовых переменных по целевым признакам и/или сегментным переменным.
Графики масштабированного среднего отклонения.
Графика/визуализация
Графики, создаваемые в пакетном и интерактивном режимах: графики разброса, гистограммы, многомерные графики, круговые диаграммы, диаграммы с областями, пузырьковые диаграммы.
Удобный Java-мастер для построения графиков:
•
Заголовки и сноски.
•
Возможность применения к данным предложения WHERE.
•
Возможность выбора из нескольких цветовых схем.
•
Простота масштабирования осей.
•
Использование данных, полученных в результате анализа в пакете Enterprise Miner, для создания специализированных графиков.
Динамическая загрузка данных в клиентское приложение при помощи нескольких методик выборки.
261
Графики и таблицы интерактивно связаны между собой и поддерживают выполнение таких операций как очистка и связывание.
Удобное копирование данных и графиков в другие приложения, а также возможность их сохранения в виде файлов GIF или TIF.
Кластеризация•
По выбору пользователя или автоматический - выбор k лучших кластеров.
•
Различные стратегии кодирования классовых переменных в процессе анализа.
•
Управление недостающими данными.
•
Графики профилей переменных сегментов, отражающие распределение исходных данных и других факторов в рамках каждого кластера.
•
Профиль дерева решений, использующий исходные данные для составления прогноза о принадлежности кластеру.
•
Оценочный код PMML.
Анализ рыночной корзиныВыявление ассоциаций и причинно-следственных связей:
•
Сетевой график правил, упорядоченный по степени достоверности.
•
Статистические графики подъема, достоверности, прогноза достоверности и поддержки правил.
•
Статистическая гистограмма частотных показателей в заданных границах поддержки и достоверности.
•
График зависимости разброса достоверности от прогнозируемой достоверности.
•
Таблица описания правил.
•
Сетевой график правил.
Органичная интеграция правил с другими исходными данными обеспечивает расширенное прогностическое моделирование.
Удобный вывод правил обеспечивает кластеризацию клиентов по их покупательным и поведенческим характеристикам.
Оценочный код PMML.
Анализ Web-активности•
Масштабируемое и эффективное выявление наиболее популярных Интернет-маршрутов на основе анализа данных об Интернет-активности пользователей.
•
Выявление наиболее частых последовательностей в последовательных данных любого типа.
Уменьшение размерностиВыбор переменных:
•
Удаление переменных, не
связанных с целевыми признаками, на основе критериев отбора хи-квадрат или R2.
262
•
Удаление переменных из иерархий.
•
Удаление переменных со многими недостающими значениями.
•
Сокращение числа классовых переменных с большим количеством уровней.
•
Группировка непрерывных исходных данных для выявления нелинейных взаимосвязей.
•
Выявление взаимодействий.
Главные компоненты:
•
Вычисление собственных значений и собственных векторов на основании матриц корреляции и ковариации.
•
Графики: масштабированное отклонение, логарифмические собственные значения, кумулятивные пропорциональные собственные значения.
•
Исследование выбранных основных компонентов при помощи методов предиктивного моделирования.
Исследование временных рядов:
•
Сокращение объемов транзакционных данных на основе формирования временных рядов с использованием разнообразных методов аккумуляции и преобразования.
•
Методы анализа включают сезонный анализ, анализ тенденций, анализ временных областей, сезонную декомпозицию.
•
Исследование сокращенных временных рядов при помощи методов кластерного и предиктивного моделирования.
Управление временными метриками при помощи описательных данных.
Скачать 3.17 Mb.