Главная страница
Навигация по странице:

  • 3) В каком году началась разработка headoop

  • 4) В каком году впервые применили headoop

  • 5) Основной поставщик headoop 1) Hadoop YARN 2) Hadoop common 3) ZooKeeper 4) Apache Hadoop6) Что такое Cloudera

  • АНАЛИЗ ТЕХНИЧЕСКОГО ЗАДАНИЯ. Вопросы. 1 Основные принципы работы MapReduce Map, Shuffle, Reduce


    Скачать 18.4 Kb.
    Название1 Основные принципы работы MapReduce Map, Shuffle, Reduce
    АнкорАНАЛИЗ ТЕХНИЧЕСКОГО ЗАДАНИЯ
    Дата06.03.2023
    Размер18.4 Kb.
    Формат файлаdocx
    Имя файлаВопросы.docx
    ТипДокументы
    #972673

    1)Основные принципы работы MapReduce:

    1. Map, Shuffle, Reduce

    2. Disco, Qizimt, CouchDB

    3. Shuffle, Reduce, Qizimt

    4. Map, Reduce, Disco


    Map – предварительная обработка входных данных в виде большого список значений. При этом главный узел кластера (master node) получает этот список, делит его на части и передает рабочим узлам (worker node). Далее каждый рабочий узел применяет функцию Map к локальным данным и записывает результат в формате «ключ-значение» во временное хранилище.

    Shuffle, когда рабочие узлы перераспределяют данные на основе ключей, ранее созданных функцией Map, таким образом, чтобы все данные одного ключа лежали на одном рабочем узле.

    Reduce – параллельная обработка каждым рабочим узлом каждой группы данных по порядку следования ключей и «склейка» результатов на master node. Главный узел получает промежуточные ответы от рабочих узлов и передаёт их на свободные узлы для выполнения следующего шага. Получившийся после прохождения всех необходимых шагов результат – это и есть решение исходной задачи.
    2) Что такое MAP:
    1)Map – предварительная обработка входных данных в виде большого список значений. При этом главный узел кластера (master node) получает этот список, делит его на части и передает рабочим узлам (worker node).
    2)MAP - это модель распределённых вычислений от компании Google, используемая в технологиях Big Data для параллельных вычислений над очень большими (до нескольких петабайт) наборами данных в компьютерных кластерах, и Фреймворк для вычисления распределенных задач на узлах (node) кластера.
    3)МАР - бесплатная реализация с открытым исходным кодом на языке Java;
    4)МАР -надстройка с открытым исходным кодом от Facebook, позволяющая комбинировать подход MapReduce и доступ к данным на SQLподобном языке;


    3) В каком году началась разработка headoop ?

    1) 2000г.

    2) 2002г.

    3) 2005г.

    4) 2006г.

    2005 – публикация сотрудников Google Джеффри Дина и Санжая Гемавата о вычислительной концепции MapReduce с подвигла Дуга Каттинга на инициацию проекта.


    4) В каком году впервые применили headoop ?

    1) 2007г.

    2) 2008г.

    3) 2009г.

    4)2010г.

    2008 – Yahoo запустила кластерную поисковую машину на 10 тысяч процессорных ядер под управлением Hadoop, который становится проектом верхнего уровня системы проектов Apache Software Foundation.


    5) Основной поставщик headoop ?

    1) Hadoop YARN

    2) Hadoop common

    3) ZooKeeper

    4) Apache Hadoop


    6) Что такое Cloudera ?

    1) распределённая файловая система, позволяющая хранить информацию практически неограниченного объёма.

    2) способен обеспечивать возможность параллельного выполнения нескольких задач

    3) Ключевой продукт – CDH (Cloudera Distribution including Apache Hadoop) – связка наиболее популярных инструментов из инфраструктуры Hadoop

    4) это модуль, который отвечает за управление ресурсами в кластере и планирование заданий


    написать администратору сайта