Книга. Книга о GeekBrains — Путь в IT — v.2_compressed (1). Путь в it
 Скачать 6.94 Mb.
|
|
Типы аналитиков Классификаций множество, поэтому мы предлагаем посмотреть на профессию в разрезе сфер деятельности. Например, ETL 67 , big data 68 , data-инженер 69 , архитектор данных 70 , BI-аналитик 71 — это более сложные типы аналитиков. Это следующий шаг в глобальном развитии профессии аналитика. Именно в этих сферах деятельности не хватает людей. Просто раньше не было университетов, которые готовили бы таких специалистов. Если же говорить о более известных направлениях, это бизнес- аналитики и системные аналитики. Они стоят немного особняком. Бизнес-аналитики анализируют бизнес-процессы, описывают их и представляют в таком виде, чтобы их можно было автомати- зировать и оптимизировать. Системный аналитик — это посред- ник между программистами и бизнес-аналитиками или бизне- сом. Этот человек переводит на понятный для программистов язык то, что им нужно сделать. Он анализирует бизнес, говорит, как он должен быть реализован, и принимает результаты. 67 ETL-аналитик — специа- лист, который контроли- рует сбор данных. 68 Аналитик big data из- влекает ценные данные из большого массива информации: отзывов, прогнозов, результатов исследований. Он помо- гает бизнесу принимать взвешенные решения: строить гипотезы, запускать продукты, улучшать процессы, планировать развитие. 69 Дата-инженер (data engineer) участвует в начальной и финаль- ной стадиях анализа данных, обеспечивает их работу в инфраструк- туре компании. 70 Архитектор данных — специалист, который разрабатывает модели хранения информации, следит за производи- тельностью и безопас- ностью системы. 71 Аналитик BI работает с данными и демонстри- рует проблемы бизнеса на реальных цифрах. Он создает понятные отчеты и визуализации, чтобы бизнес принимал полезные решения. Раздел 80 ПУТЬ В IT Часто люди путают понятия, выбирая образование или просматривая вакансии в сфере аналитики. В одном месте может требоваться бизнес-аналитик как человек, который анализирует маркетинговые данные, а в другом — который работает вместе с программистами, участвует в разработке продукта и пишет технические задания. Обратите внимание: это одни и те же слова и совершенно разные смыслы. Важно разобраться, что имеется в виду, какое вы получаете образование и на какую работу вы идете. Отдельно расскажем об архитекторе данных. Это опытный технический специалист, который руководит целой группой сотрудников, обслуживающих систематизированный массив четко структурированной взаимосвязанной информации. Архитектор данных понимает: • как системы взаимосвязаны, по каким идентификаторам; • как понять, что в этом заказе лежат конкретные товары; • сколько они стоят, как обновляются, где хранятся и на каких складах; • как номенклатуры связаны между собой; • как проверить, что данные вовремя загружаются; • в какой последовательности они должны загружаться в хранилище. Этим занимаются аналитики с огромным опытом. Аналитические системы Еще 20 лет назад никто толком не выделял аналитику. Тогда она называлась статистикой. До сих пор в медицинских учреждениях сохранилось такое понятие, как медицинская статистика — сбор данных о заболеваемости. Со временем статистические данные стали собирать во многих других отраслях. Работая с полученными данными, специалисты начали именно анализировать их, что привело к появлению аналитики. Аналитика данных — процесс преобразования первичных данных в полезные знания, которые можно использовать. Чтобы преобразовать их, приходится работать с различными системами, в которых миллиард записей. Как собирать, обрабатывать и анализировать такой большой объем данных? Раздел 81 ПУТЬ В IT Для этого специалист использует информационно- аналитические системы управления. Под этим понятием подразумевают системы, позволяющие контролировать и анализировать информацию. Аналитические системы очень сложны. В них есть три слоя: Первый слой — работа непосредственно с источниками данных. Все системы — это по сути источники данных. Что с ними делает аналитик? Из разных систем он извлекает данные, затем переда- ет и загружает их в одну систему, в которой будет производиться анализ. Этим занимаются ETL-аналитики, которые смотрят, пра- вильно ли собираются эти данные, и ETL-разработчики, которые пишут программы-экстракторы 72 , чтобы они работали стабильно и запускались по расписанию. Терабайты данных перегружаются из одной системы в другую — и нужно, чтобы это все работало. Второй слой — работа с отчетами с панелей мониторинга и сбор данных, которые необходимы бизнесу. Этим занимаются BI-аналитики (Business Intelligence). Например, компании нужен ежедневный отчет о продажах в раз- резе каждого магазина по каждой категории товаров. Аналитики готовят отчет, который будет удовлетворять этим требованиям. Другой компании нужен отчет о движении товаров на складе. Есть движение товара, и нужен такой формат по каждой единице с каждой полки по всем складам в таком-то регионе. Этим зани- ETL-аналитик Сбор и обработка данных Визуализация данных Анализ собранных данных Data-инженер DWH-специалист Архитектор данных BI-аналитик Маркетинговый аналитик Бизнес-аналитик Аналитик Big Data Игровой аналитик и другие Продуктовый аналитик Финансовый аналитик Веб- аналитик BI-разработчик 72 Программы- экстракторы — аналитические системы, предназначенные для автоматического анализа текста и выделения фактов, связанных с интересующими объектами. Раздел 82 ПУТЬ В IT маются люди, которые формируют отчеты с данными и отвечают за то, чтобы данные были верны. Если они находят ошибку в дан- ных, то сообщают о ней специалистам на предыдущем уровне: «Есть ошибки по загрузке, что-то не загрузилось по каким-то магазинам или по складам». Третий слой — аналитический. Аналитики берут отчеты, цифры и анализируют по специальным методикам. На этом слое работа- ют специалисты продвинутого уровня, которые используют раз- ные математические модели. С их помощью аналитики убирают так называемые выбросы данных, например сильные отклонения в продажах магазина. Усредняют их, считают медианные значе- ния, накладывают параметры сезонности, сравнивают истори- ческие данные по предыдущим годам и находят аномалии. Ано- малии бывают, например, когда мы теряем выручку или что-то перерасходуем. Они могут показывать, что появилась новая возможность заработать в этой области за счет определенных действий: что-то происходит и растут продажи, или в каком-то магазине есть аномально положительные результаты. На основании всех этих данных аналитики готовят пояснительные записки к отчетам и подают их руководству. Пример работы аналитика. Представим, что мы проанализировали продажи всех дивизионов 73 и видим, что Южный федеральный округ продает эти позиции лучше всего за счет определенных мероприятий. Мы предлагаем эти мероприятия распространить на все регионы, чтобы поднять продажи. По нашим оценкам, это увеличит продажи на 2%. А в формате торгово-розничной сети 2% в капитализации добавляют 10% к стоимости компании в годовом исчислении. Это миллиарды долларов. 73 Дивизион в бизнесе — крупное структурное подразделение. Раздел 83 ПУТЬ В IT Когда аналитика пересекается с программированием Разберем такие понятия, как: «искусственный интеллект, «data science», «machine learning» и «нейронные сети». И начнем мы с искусственного интеллекта. В 2000 году люди впервые услышали о такой специализации, как искусственный интеллект. Студенты в университетах задавались вопросом: «А что мы вообще будем делать?». В 2000 году искусственный интеллект был известен только разве по фантастическим фильмам. Представьте, на факультете искусственного интеллекта не было самого искусственного интеллекта. Это было просто слово, значение которого тогда только зарождалось. Студенты изучали множество различных математических методов обработки информации, работали с прогнозами. Люди еще не знали, как направление будет развиваться и как они смогут применять полученные знания в будущем. Искусственный интеллект — это попытка на базе аппаратно- программного комплекса воспроизвести способ принятия решений человеком, образ мыслей человека. Приведем простые примеры. Есть голосовые помощники в операционных системах: Siri 74 , Алиса 75 , Маруся 76 . Все они — примеры искусственного интеллекта, взаимодействующего с людьми на человеческом языке. Цель их создания — решать простые задачи: включить музыку, поставить напоминание, включить будильник и другое. Пересечение работы аналитика с программированием Искусственный интеллект Machine Learning Data Science Нейронные сети 74 Siri — облачный персональный помощник и вопросно- ответная система, разработанная компанией Apple. 75 Алиса — виртуальный голосовой помощник, созданный компанией «Яндекс». 76 Маруся — голосовой помощник, разработанный компанией VK. Раздел 84 ПУТЬ В IT Чтобы помощник вас понял, достаточно голосовой команды. Искусственный интеллект также можно интегрировать в «умный дом» 77 , чтобы он выполнял несложные команды: включить свет, выключить чайник, включить телевизор. Однако технология искусственного интеллекта далека от совершенства. Вы можете сами в этом убедиться: попробуйте протестировать искусственный интеллект. Возьмите Марусю, Siri, Алису и направьте их друг на друга. Включите у одной микрофон, другой задайте вопрос. После они попытаются поддерживать разговор. Вы увидите, что они пока несовершенны. Разговор на пятой фразе зайдет в тупик и будет бессмысленным. Это показывает, что технологиям есть куда развиваться. И кто знает, может быть, вы станете тем человеком, который выведет искусственный интеллект на новый уровень. Двигаемся дальше — data science. Это «наука о данных» в дословном переводе. Есть огромное количество математических методов обработки данных. Например, вспомните систему распознавания лиц, которая уже есть в метро. Еще хороший пример — это Face ID в телефонах. Они представляют собой математические методы, которые из миллиона лиц выделяют элементы и узнают ваше лицо. Процесс строится на рядах Фурье 79 . Этот подход заключается в том, что система опознавания лиц сравнивает два образа в виде набора кривых, и, когда определенный процент соответствия совпадает, система определяет, что это вы. Система не видит изображения — это набор бинарных данных: нулей и единичек. Система их сравнивает и находит нужные совпадения. Поэтому телефон просит вас заснять лицо со всех ракурсов, чтобы он запомнил кривые и построил изображение 77 «Умный дом» — система домашних устройств, способных выполнять действия и решать определенные повседневные задачи без участия человека. 78 Face ID — сканер объемно- пространственной формы лица человека, разработанный компанией Apple. 79 Ряды Фурье — способ представления сложной функции суммой более простых, хорошо известных. Раздел 85 ПУТЬ В IT вашего лица, потому что оно уникально. Эти методы позволяют обрабатывать информацию, распознавать лица, а также различные элементы в движении. Machine learning — машинное обучение. Что это такое? Мы пользуемся Яндекс.Навигатором 80 , бытовыми приложениями, Яндекс.Едой 81 , Delivery Club 82 . В приложения поступает огромное количество обращений от людей. Например, по вопросам заказа такси или по доставке еды. Если сажать менеджеров, которые будут отвечать на все однотипные вопросы, это очень дорого, поэтому подключают машинное обучение. Machine learning — это алгоритм, который сам себя обучает на действиях и взаимодействии с пользователями. Пользователь задает вопрос, он попадает в сценарий ответов. Если это приводит к конечному решению по алгоритму и клиент остается довольным, алгоритм воспринимает этот сценарий как основной. Тогда всем остальным клиентам, кто обращается с таким же вопросом, он отвечает по тому же сценарию. Когда вы пишете в чат службы поддержки, что не приехало такси или не доставили еду, вам отвечают через минуту, что деньги зачислены на счет. Это делает не человек, а система. Она видит ваш рейтинг, что вы часто заказываете на большие суммы, вы редко жалуетесь и вам можно верить — вы не мошенник. Она автоматически принимает решение и возвращает вам деньги. Такая схема экономит время и деньги. Или, например, в Яндекс.Навигаторе, когда вы ищете адреса в разные дни, вы можете заметить интересную деталь. Допустим, утром вы ездите на тренировки по определенным дням. Когда в этот день вы открываете Яндекс.Навигатор, всплывает первая подсказка: адрес вашего спортзала. Вы просто нажимаете на адрес, а навигатор обучается, запоминает, где вы бываете, в какое время суток, в какие дни недели, предлагает интересные места поблизости, пытается вам помочь, подбирая лучший маршрут, чтобы вам было удобно. Это и есть machine learning, то есть обучающаяся система. Нейронные сети — это распределенная система вычислений на разных компьютерах. Мы уже разбирали набор библиотек, которые подключаются для взаимодействия с этими сетями, и существуют фреймворки, которые позволяют с ними работать. 80 Яндекс.Навигатор — автомобильное навигационное приложение для мобильных устройств под управлением Android, iOS и мобильных операционных систем семейства Windows, разработанное российской интернет- компанией «Яндекс». 81 Яндекс.Еда — сервис заказа быстрой доставки еды из ресторанов и продуктов из магазинов через мобильные приложения или веб-сайт. 82 Delivery Club — сервис доставки еды и продуктов в России. Раздел 86 ПУТЬ В IT А под нейронной сетью подразумеваются уже готовые ресурсы. Вы ставите библиотеку, подключаетесь к определенному серверу и программируете. Нейронная сеть просит вас загрузить информацию на обработку и затем осуществляет распределенные вычисления под ваши задачи. Инструменты аналитика Аналитик работает с данными. Чтобы их структурировать и затем проводить анализ, он использует различные инструменты. Например, Power BI — это система, которая работает с данными. В ней строятся различные отчеты, дашборды 85 . На основе этой системы аналитики придумывают, в каких схемах будут хранится данные, описывают структуры таблиц. Яндекс.Метрика помогает понять, как пользователи ведут себя на сайте, как добавляют товары в корзину, на что кликают, сколько времени проводят на странице, что читают. Примеры инструментов аналитика Яндекс.Метрика 83 Сервис для просмотра, анализа и визуализации статистики сайта Power BI Набор ПО от Microsoft для структурирования, анализа и визуализации данных Tableau 84 Сервис для визуализации и анализа данных Docker Программа для упаковки кода в один контейнер с библиотеками и инструментами 83 Яндекс.Метрика — бесплатный интернет-сервис компании «Яндекс», предназначенный для оценки посещаемости веб-сайтов и анализа поведения пользователей. 84 Tableau — это система интерактивной аналитики. 85 Дашборд (от англ. dashboard) — инструмент, который визуализирует и анализирует любые данные. Раздел 87 ПУТЬ В IT В зависимости от этого становится понятно, что нужно поиску, чем люди пользуются, на какие страницы заходят. В современном бизнесе собираются тысячи показателей. Задача аналитиков — все это собрать. С помощью Tableau аналитик может оформлять отчеты в виде визуальных элементов, которые облегчают восприятие сложной статистической информации. Чему учится аналитик В первую очередь аналитик должен освоить базы данных — это хранилища, где собирается первичная информация. Далее идут инструменты: Яндекс.Метрика, Google Аналитика. Еще важно понимать юнит-экономику, ей пользуются в том числе продакт-менеджеры, о которых мы расскажем далее. Продакт- менеджеры приходят к аналитикам, и те собирают данные в юнит-экономику. Юнит-экономика — это оценка рентабельности продаваемой единицы или продукта. Знания в этой области будут полезны не только для работы, но и для жизни. Даже если вы не становитесь аналитиком, но обладаете знанием юнит- экономики, это позволяет вам участвовать в огромном количестве различных процессов и проектов. Знания юнит- экономики помогают оценить, сколько вкладываем, сколько зарабатываем, какая разница в прибыльности на ту или иную единицу товара или продукта. Что касается Excel и Google-таблиц — это главные инструменты, которым следует обучиться будущим аналитикам в первую очередь. Разбираться в Excel, строить запросы невероятно полезно. Это позволяет сделать многие операции быстро. Это тоже база, которая нужна любому айтишнику. Раздел 88 ПУТЬ В IT Подходит ли вам профессия аналитика Более точно вы ответите на этот вопрос, освоив базу разработки, а пока можете оценить свою склонность к работе с анализом. Специальность вам подходит, если: • Вы обладаете критическим мышлением. • Перед тем как взяться за задачу, сначала проводите анализ. • Замечаете ошибки других. • Внимательны к мелочам. • Умеете и любите работать с большим объемом информации. • Умеете из большого объема информации достать суть. • Ищете закономерности, наблюдая за миром. • Способны сделать убедительный вывод на основе анализа. Эта профессия для вас, если вам нравится работать с данными, вы хорошо умеете оперировать числами, работаете с Excel, умеете создавать и читать таблицы. Видите причинно- следственные связи, по жизни ищете закономерности в цифрах. Либо вам нравится искать и сравнивать информацию: «А что здесь? Какие отзывы? А если тут купить? Здесь доставка дешевле, но товар дороже». Вы любите сопоставлять предметы. Все ставите под сомнение, тщательно проверяете. |