Тема 6 Big Data Тетерина РЭНМ-21о-М. Технологии big data
 Скачать 22.91 Kb.
|
|
Технологии big data 2) Технологии big data объединяют в себе набор инструментов, технологий, подходов и методов, которые предназначаются для решения проблем сбора и обработки больших объемов данных, а так же под big data понимается объем данных, который невозможно обработать традиционными и общепринятыми способами. 3) В качестве одних из определяющих характеристик для big data выделяют “три V”: скорость (от англ. слова velocity, в смыслах как скорость прироста, так и необходимости проведения высокоскоростной обработки и получения результатов анализа данных), объём (от англ. слова volume, в смысле величины физического объёма анализируемых данных), многообразие (от англ. слова variety, в смысле возможности проведения одновременной обработки и анализа различных типов полуструктурированных и структурированных данных). 4) В широком смысле понятие big data включает в себя совокупность информационных и математических технологий по следующим направлениям: - работа с большими массивами данных; - интеллектуальный анализ данных; - предиктивная аналитика, которая включает машинное обучение. 5) Методы и техники анализа, применимые к большим данным: - методы класса data mining: кластерный анализ, обучение ассоциативным правилам, регрессионный анализ, классификация; - интеграция и смешение данных — это набор техник, которые позволяют интегрировать вместе разнородные данные, собранные из разнообразных источников для проведения структурного анализа - сетевой анализ, искусственные нейронные сети, оптимизация, в том числе генетические алгоритмы; - использование моделей, которые построены на базе машинного обучения или статистического анализа для формирования комплексных прогнозов на основе базовых моделей; - прогнозная аналитика; - краудсорсинг; - распознавание образов; - имитационное моделирование; - статистический анализ, в качестве примеров методов можно привести анализ временных рядов и A/B-тестирование. - визуализация аналитических данных, с использованием анимации и интерактивных возможностей, как для получения итоговых результатов обработки данных, так и для использования в качестве исходной информации для дальнейшего анализа. 6) Нефтегазовые компании в процессе своей деятельности получают петабайты данных каждый день, использование больших данных открывает возможности анализа и предсказания развития трендов в области геологии, инженерии, производства и наилучшего способа использования оборудования для достижения наиболее оптимальных результатов работы на всех стадиях своей деятельности, начиная от разведки и добычи, заканчивая переработкой и реализацией готовой продукции. Наиболее успешное применение данной технологии способствует снижению издержек и получению максимальной прибыли за счет использования взаимодополняющих методов предсказания. Для каждого производственного цикла можно выделить следующие преимущества использования технологии больших данных: Разведка - моделирование и предсказание наиболее вероятных участков добычи с потенциально оптимальными объемами сырья; Добыча - сбор и переработка данных в целях оптимизации использования оборудования и способов добычи.; Переработка - улучшение методов и результатов переработки сырья в конечную продукцию в зависимости от цен на рынке, а также для сохранения ресурса перерабатывающего оборудования; Транспортировка - большие данные позволят выявить потенциальные потребности того или иного сырья в соответствующих регионах а также выявить наиболее оптимальную нагрузку на средства доставки; Реализация - в данном разделе большие данные способствуют максимальной отдачи при прогнозировании рынка регионов, в целях определения потенциально-прибыльных потребностей в том или ином виде сырья, а также его количества. 7) Опыт использования больших данных в российских нефтяных компаниях По оценочным расчетам компании ПАО «Газпром нефть» внедрение систем предиктивной аналитики на основе анализа больших данных в бурении позволяет сократить сроки строительства скважин на 30 %, а общую стоимость скважины, включая заканчивание и освоение, на 15 %. Также посредством инструментов Big Data успешно решается широкий круг задач в логистике: от оптимизации транспортных маршрутов и схем поставок оборудования до повышения эффективности работы АЗС. Одним из перспективных, но не новым направлением является прогнозирование отказа погружного оборудования. Так, компания BP(би-пи) имеет успешный опыт внедрения системы для прогнозирования и упреждения осложнений при эксплуатации скважин установками электроцентробежных насосов на морских платформах. Уже в ходе тестового применения технологии компании удалось снизить эксплуатационные затраты на 2 млн долл США и более за счет повышения межремонтного периода работы скважин и уменьшения времени простоя в ожидании ремонта. Перспективными для внедрения технологий Big Data признано более 20 бизнес-факторов из 130 в блоке upstream ПАО «Газпром нефть». Выделены следующие приоритетные задачи: - поиск объектов-аналогов; - обработка массивов данных сейсморазведки; - суррогатное геолого-гидродинамическое моделирование; - восстановление исторических эксплуатационных данных; - комплексирование и анализ данных исследований в масштабах месторождения; - обработка данных исследований в режиме реального времени; - обработка данных скважинных операций и методов увеличения нефтеотдачи; - выявление и прогнозирование осложнений в режиме реального времени; - автоматизация процессов сбора, обработки и подготовки больших массивов данных в рамках проекта «Цифровое месторождение». 8) Одним из примеров подобных проектов является внедрение предиктивной аналитики в процессы управления электроцентробежными насосами, выполненное совместно с компанией Teradata. Целью пилотного проекта под названием «Аналитика самозапусков установок электроцентробежных насосов после аварийных отключений электроэнергии», стало использование инструментов Big Data для выявления причин сбоев автоматического перезапуска насосов после аварийного отключения электропитания. Для проведения исследований рабочая группа, в которую вошли специалисты Научно-технического центра, IT-департамента ПАО «Газпром нефть» и компании Teradata, использовала более 200 млн записей, полученных в 2014 г. с контроллеров систем управления на 1649 скважинах, а также записи рестартов напряжения из аварийных журналов. Изучение и анализ этой информации с использованием традиционных инструментов оказались невозможны из-за большого объема неструктурированных данных: в каждой модели системы управления применяются различные форматы записей. При этом решение задачи осложнялось зависимостью работы насосов от множества различных факторов: скважинных условий, условий эксплуатации, схемы электроснабжения и др. С помощью аналитической системы все данные были обработаны, созданы визуализированные модели цепочек событий, относящиеся к самозапуску насосов, а также карты вероятностного распределения причинно-следственных связей. Применение инструментов Big Data позволило не только сформировать и проверить набор различных гипотез о причинах сбоев в автозапуске, но и получить информацию о ранее неизвестных взаимосвязях в работе насосного оборудования, в частности, о появлении в ряде случаев эффекта турбинного вращения, приводящего к обратному сливу нефти при отключении электропитания насоса. 9) Однако подобный процесс «точечного» применения технологий Big Data не позволяет получить прорывного эффекта, способного кардинально повысить эффективность текущей деятельности. В связи с этим в компании инициирован ряд полномасштабных проектов, где технологии Big Data являются основополагающими. Совместно с компанией IBM разрабатываются алгоритмы для автоматизации процесса выбора оптимальной системы разработки вновь вводимых месторождений и оптимизации режимов работы скважин на длительно разрабатываемых месторождениях для максимизации добычи. Применение данной технологии позволит компании уже на этапах планирования подбирать наиболее эффективную технологию освоения месторождений, а при их дальнейшей эксплуатации интегрально рассматривать все процессы, происходящие в пласте, и повышать эффективность выработки остаточных извлекаемых запасов. Эффект от внедрения данной технологии оценивается компанией в 1 млн т потенциальной дополнительной добычи. 10) На основе когнитивных технологий реализуется проект, направленный на поиск пропущенных интервалов по данным геофизических исследований скважин. Потенциальный эффект от его внедрения оценивается на уровне 500 тыс. тонн дополнительной добычи на текущих добычных активах. Запущен проект интеллектуального поиска объектов-аналогов по заданному набору критериев с помощью машинного обучения. В результате его реализации ожидается сокращение затрат на 4 млрд руб. до 2025 г. 11) Дополнительно «Газпром нефть» уделяет особое внимание накоплению и распространению критически важных производственных знаний. В информационной Системе Распространения Знаний внедряется технология гибридного интеллектуального поиска, способная отвечать на запросы пользователей, по данным на естественном языке. Например, если запрос сформулирован в формате «Что является наилучшим методом геологоразведки для поиска месторождений нефти и газа», то система выдаст ответ «С наивысшей долей вероятности это сейсморазведка, хотя также применяется электро- и гравиразведка» и отсортирует результаты по релевантности на основе источников и документов, индексируемых системой. 12) Внедрение данных технологий позволит получить ряд уникальных преимуществ. Повышение качества и своевременности принятия производственных решений на основе геолого-гидродинамических моделей (ГГДМ) за счет повышения качества цифровых моделей, сокращения длительности цикла ГГДМ и минимизации влияния «человеческого фактора» при интерпретации исследований. Повышение обоснованности и качества принятия инвестиционных решений в условиях сверхвысокой неопределенности в исходных данных, а зачастую их недостатка. |