Тема 6 (2). Лекции Технологии машинного обучения Технологии Nosql data Mining Глубокое обучение
 Скачать 31.09 Kb.
|
Технологии NoSQLВыделяют различные модели данных: реляционную, иерархическую, сетевую, объектно-ориентированную, графовую и др. Широкое распространение получила реляционная модель данных, предложенная в 1969 г. Э. Коддом. Эта модель основана на реляционной алгебре. Использование языка структурированных запросов SQL (Structured Query Language) позволяет осуществлять операции реляционной алгебры и обращаться к данным. Согласно теории баз данных, реляционная модель представляет собой некоторую формальную теорию представления и обработки данных в системе управления данными. Система управления базами данных – это программный продукт и языковые средства, обеспечивающие управление созданием и использованием баз данных. Термин «NoSQL» впервые был использован в 1998 г. для описания реляционной модели базы данных, не использовавший язык структурированных запросов SQL. Позднее с развитием интернет- технологий сетевой связи, средств обмена данными, а также появлением мобильных и беспроводных вычислительных средств возникла необходимость разработки новых систем управления базами данных (СУБД), отличных от традиционных реляционных моделей. Большие данные характеризуются большими объемами информации, разнообразием типов данных, а также плохой структурированностью. Такие свойства как атомарность, согласованность данных, изолированность присущие реляционным базам данных не позволяют увеличивать их производительность. Увеличение производительности возможно за счет использования более мощного оборудования для вертикального масштабирования данных, оптимизации запросов к базе данных и применения современных NoSQL- технологий. Существующие NoSQL-технологии реализуются посредством хранения исходной информации в специализированных хранилищах: хранилища типа ключ-значение; документ-ориентированные хранилища; колоночные хранилища; графовые хранилища данных. Хранилища данных первого типа реализуются посредством ассоциированного массива или словаря данных, в которых не указывается тип данных, что позволяет увеличить производительность запросов. Доступ к данным производится посредством уникального ключа. Второй тип хранилища отличает возможность объединения документов в коллекции согласно определенной тематике. Коллекции могут хранить разнообразные данные. При этом схема хранения документов может иметь произвольную структуру (возможно иерархическую). Доступ к определенному документу производится посредством ключа-значения или атрибутов документа. Колоночные хранилища данных близки к традиционным реляционным СУБД. Особенность таких хранилищ состоит в использовании ключевых значений, содержащих номер строки, столбца таблицы, время создания или обновления данных. Хранилища на графах применяются для обработки больших данных, имеющий пространственный характер, например, для анализа социальных сетей, решения пространственных и логистических задач. В данных моделях используются вершины, ребра графа, а также свойства описываемых объектов. Это удобно для визуального отображения и анализа распределения природных, экономических и социальных ресурсов. Современное развитие технологий обработки больших данных связывают с newSQL. Термин newSQL был предложен М. Аслетом в 2011 г, под которым понимается класс современных СУБД, стремящихся совместить в себе преимущества NoSQL и возможности классических реляционных баз данных. |