Визуализация данных о качестве работы сотрудников строительной компании на основе BI-системы. Курсовая работа визуализация данных о качестве работы сотрудников строительной компании на основе biсистемы тема работы
 Скачать 7.2 Mb.
|
1.3 Платформа для обработки и хранения данных pgAdmin 4Полноценное использование баз данных (БД) невозможно без систем управления базами данных (СУБД). Таких систем десятки, при этом один из самых популярных и функциональных, как и говорилось ранее это — PostgreSQL. В PostgreSQL все таблицы представляются в виде объектов, которые могут наследоваться, а все операции с ними выполняются с помощью объектно-ориентированных функций. При этом структура хранимых файлов (и даже записей в них) может сильно отличаться. Главное отличие PostgreSQL от других СУБД — наличие объектно-ориентированных функциональных возможностей, среди которых поддержка концепции ACID (Atomicity, Consistency, Isolation, Durability — атомарность, согласованность, изолированность, долговечность). PostgreSQL способна справляться с одновременной обработкой нескольких задач, поддерживает большое количество типов данных и вспомогательных инструментов для работы. pgAdmin — это платформа с открытым исходным кодом для администрирования и разработки для PostgreSQL и связанных с ней систем управления базами данных. Платформа написана на Python и jQuery и поддерживает все функции PostgreSQL. Использование pgAdmin возможно для любых операций, начиная с записи базовых SQL-запросов и заканчивая осуществлением мониторинга ваших баз данных и настройки продвинутых архитектур баз данных. Исследование систем Business Intelligence Системы Business Intelligence как инструмент анализа и обработки данных BI-система (Business Intelligence) — набор инструментов и технологий для сбора, анализа, визуализации и обработки данных о состоянии бизнеса. Проще говоря, это целый класс приложений, которые преобразуют информацию из разных источников в удобную и понятную аналитику с визуализацией данных. Пользоваться BI-системами для решения бизнес-вопросов могут топ-менеджеры, отдел продаж, финансисты и другие структуры компании. Руководство компании может обнаружить прибыльные и убыточные направления бизнеса, продажники — построить планы и оценить их выполнение, кадровики — оценить эффективность каждого менеджера, финансисты — проконтролировать погашение кредитов заёмщиками, а логистам эти системы помогут выстроить план управления поставками. BI-система подключается ко всем работающим в компании IT-системам и загружает в себя всю необходимую информацию. Потом по мере необходимости система подгружает изменения. Благодаря этому результаты анализа сотрудники компании получают мгновенно. BI-системы применяют и в коммерческом, и в государственном секторе. По оценке главного редактора аналитического издания TAdviser Александра Левашова, наиболее востребованны BI-системы у заказчиков из финансового сектора, торговли и госсектора. Также они используются в фармацевтической отрасли, пищевой промышленности, в энергетике и телекоммуникационном сегменте. В 2021 году главная тенденция в сфере BI-систем — фокус на целевом прогнозировании. Раньше Business Intelligence системы анализировали различные факторы и исходя из них задавали вектор развития компании. Сейчас же угол зрения кардинально изменился: бизнесмены хотят отталкиваться от цели и в зависимости от этого менять изначальные параметры. Иными словами, раньше предприятия пытались понять тренды, которые влияют на ситуацию, а сейчас BI-инструменты позволяют спрогнозировать и спланировать мероприятия, приводящие клиента к целевым значениям. Сравнительный анализ современных систем Business Intelligence• Power bi  Рисунок 2.1 - Microsoft Power BI Microsoft Power BI — это коллекция программных служб, приложений и соединителей, которые взаимодействуют друг с другом, чтобы превратить разрозненные источники данных в согласованные, визуально иммерсивные и интерактивные аналитические сведения. Power BI может работать просто и быстро, формируя краткие аналитические сведения на базе книги Excel или локальной базы данных. Однако Power BI также является надежным продуктом корпоративного уровня, который пригоден не только для масштабного моделирования в режиме реального времени, а также для разработки индивидуальных решений. Таким образом, он может выступать в качестве вашего личного средства визуализации и ведения отчетов, а также служить подсистемой аналитики и принятия решений для групповых проектов, отделений или целых организаций. Общая последовательность действий в Power BI представляет собой следующее: перенос данных в Power BI Desktop и создание отчета; публикация в службе Power BI, где можно создавать визуализации или информационные панели; совместное использование информационных панелей с другими пользователями, особенно с теми, кто находится в дороге; просмотр общих информационных панелей и отчетов в приложениях Power BI Mobile и взаимодействие с ними. • Tableau  Рисунок 2.2. - Tableau Tableau — программное обеспечение для интерактивной бизнес-аналитики и визуализации данных. Оно помогает провести глубокий анализ большого количества информации и представить результаты в удобной и интуитивно понятной форме. Tableau может взаимодействовать с облачными решениями (Dropbox, Google Таблицы, AWS Redshift и пр.), а также современными инструментами анализа данных, например Python и R. Аналитическую платформу разработала компания Tableau Software, Inc. в 2003 году. В 2019 году ее поглотила корпорация Salesforce, которая продолжила развитие продукта. Сегодня под брендом Tableau выпускается несколько версий программы, а также дополнительные продукты, расширяющие функционал. Вокруг Tableau образовалось обширное сообщество профессионалов и энтузиастов-любителей, обменивающихся опытом и способствующих совершенствованию сервиса. Возможности ПО: • Сбор информации из различных источников — от простых Excel-таблиц до многомерных массивов данных, облачных хранилищ и т.д. • Глубокая обработка полученных данных, позволяющая отслеживать события, тенденции, понимать их причины. • Визуализация результатов анализа в виде стандартных графиков, пузырьковых диаграмм, дерева событий, с привязкой к географическим картам и т.д. • Возможность объединить различные типы данных в сводных отчетах, например информацию о расходах на рекламу с данными о регистрациях, чтобы рассчитать их стоимость. • Создание отчетов любых типов — от простейших таблиц до глубоких исследований трендов и корреляций. • Обмен данными с другими пользователями, загрузка отчетов в облако, совместный просмотр и работа с результатами исследований. • Анализ эффективности бизнеса с помощью ключевых метрик из любой точки мира. • Visiology  Рисунок 2.3. - Visiology Использование аналитической платформы Visiology позволяет повысить качество управленческих решений за счет достижения ключевых целей внедрения. Цели внедрения: • Повышение прозрачности бизнеса. Сбор данных в единую систему позволяет упорядочить бизнес-процессы отчетности, а также повысить качество собираемых данных. • Повышение оперативности получения руководством информации о состоянии предприятия. В аналитической системе данные доступны в тот момент, когда они необходимы. Руководителю не нужно ждать еженедельного совещания или давать задание аналитику, чтобы получить информацию. • Единая «точка правды». Приведение данных к единой модели позволяет избежать ситуации, когда один и тот же показатель может быть рассчитан по-разному. Области применения Аналитической платформы Visiology На производственном предприятии: • Анализ структуры, качества и возраста дебиторской и кредиторской задолженностей • Выявление трендов спроса на продукцию • Анализ структуры себестоимости • Анализ склада и оборачиваемости (готовая и незавершенная продукция). • Мониторинг показателей эффективности предприятия: • Финансовые показатели (EBITDA, дебиторская и кредиторская задолженности, остатки на счетах) • Продажи (заказы, отгрузки) • Маржинальность по направлениям • Эффективность производственных рабочих и оборудования • Административные и общепроизводственные расходы. Задачи внедрения: • Информационное обеспечение лиц, принимающих решения • Формирование отчетов по различным направлениям с разной степенью детализации • Визуализация информации с учетом эргономики восприятии и технических характеристик • Прогнозирование развития событий и их влияния на бизнес • Агрегация всех источников информации и представление в едином информационном пространстве • Обеспечение сотрудников мощным и удобным инструментов анализа поступающих данных. • Optimacros  Рисунок 2.4. - Optimacros Программное обеспечение «Оптимакрос» — это универсальная платформа для оптимизационного и консолидированного планирования, прогнозирования, бизнес-анализа и интеграций. Используется для построения систем корпоративного планирования, бюджетирования и план-факт анализа и бизнес-аналитики, отчетности и визуализации данных. ПО обеспечивает возможность обработки и анализа больших объемов данных, необходимых для эффективного принятия решений, а также планирования и мониторинга текущей операционной деятельности компании. ПО предназначено для бизнес-планирования, продаж, финансовых операций организации. Решение основано на гибкости и настраиваемости под требования клиента, включая возможность масштабирования. Быстрый подход к внедрению и возможность строить модели без детального технического задания. ПО обладает широким спектром уникальных возможностей для создания полнофункциональных систем аналитики и планирования на уровне предприятия и предлагает набор шаблонов часто используемых моделей данных, а также возможность создавать модели «с нуля». Кроме того, ПО поддерживает широкий набор инструментов оптимизации, аналитики и анализа данных, предлагает расширенные возможности интеграции с существующими решениями, обеспечивает гибкость в настройке интерфейсов, структур хранения и расчетов, реализует возможность кастомизации на уровне скриптов и пользовательских макросов. Данное ПО используется аналитиками в бизнесе, которые смогут самостоятельно строить системы планирования и отслеживания эффективности. ПО предназначено для сотрудников разного уровня и разных отделов (Финансы, Продажи, Маркетинг, Производство, Отдел персонала и IT), так как возможна совместная работа с моделями и одновременный доступ пользователей, а также разграничение прав доступа на уровне справочников в разрезе пользователей и ролей. Функциональные возможности • Создание бюджетов и прогнозов любого уровня детализации • Расчет отклонений факта от плановых показателей и возможность создания и обновления прогнозов; • Анализ версий и сравнение сценариев плана; • Встроенная шкала времени (различные календари) и возможность создания пользовательских иерархий справочников любой иерархической (древовидной) структуры; • Консолидированное планирование и каскадирование целей; • Оптимизационное планирование с возможностью решения линейных и нелинейных задач оптимизации; • Разграничение прав доступа, в том числе ролевая модель; • Методы визуального выделения отклонений и расчет точности прогнозов; • Интеграция с внешними источниками данных (получение данных из различных систем, хранение и обработка, отправка данных в другие системы); • Построение интерактивных дэшбордов с таблицами данных, графиками и элементами управления (кнопки, тестовые блоки, изображения и прочее); • Финансовые и аналитические расчеты; • Различные виды настраиваемых графиков; • Интерактивные графики (по нажатию графики передают контекст и изменяют значения в фильтрах на таблицах данных). • Qlickview  Рисунок 2.5. - QlikView QlikView — это профессиональная платформа Business Discovery для самостоятельного проведения бизнес-анализа, предназначенная для всех корпоративных бизнес-пользователей. С помощью программного обеспечения QlikView можно анализировать данные и использовать полученные результаты для поддержки. Программа QlikView дает возможность задавать себе вопросы и отвечать на них, самостоятельно идти по пути познания. Программа QlikView позволяет вам и вашим коллегам принимать решения в совместной работе. Сердцем программы QlikView является запатентованное ядро программного обеспечения, которое на лету генерирует новые виды информации. QlikView сжимает данные и сохраняет их в памяти, где к ним моментально может получить доступ множество пользователей. Если набор данных слишком велик для размещения в памяти, программа QlikView подключается напрямую к источнику данных. QlikView обеспечивает ассоциативную работу со всеми данными, необходимыми для анализа, независимо от их местоположения. Пользователь может выбрать любое место начала работы и какое угодно направление; в программе отсутствуют заранее настроенные пути детализации и информационные панели. QlikView предлагает комплексную функциональность Business Intelligence, но на базе единой платформы, не требующей установки целого комплекса разнородных дорогостоящих программных продуктов, как в случае традиционных BI-решений, а следовательно простую во внедрении и имеющую стоимость ниже, чем традиционные OLAP решения. QlikView позволяет оперативно строить даже самые сложные модели для анализа, без особых усилий формировать по ним отчетность и поддерживать эти модели в актуальном состоянии. Простота работы с QlikView (Qlik Sense) и интуитивность интерфейса делает его максимально удобным для пользователя, а легкость модификации и разработки обеспечивают быстроту и высокую эффективность проекта внедрения. Имея комплексную функциональность, QlikView (Qlik Sense) строит решения на базе простой для понимания архитектуры, целостность которой обеспечивает стабильную совместную работу всех ее составляющих. Платформа QlikView легко встраивается в существующую информационную инфраструктуру предприятия, что позволяет развернуть систему в кратчайшие сроки. Построение дашборд-панелей с помощью веб-фреймворка «Dash» на основе языка Python Приложения Dash состоят из двух частей. Первая часть — «layout» описывает то, как выглядит наше приложение. Вторая часть описывает интерактивность приложения, о ней мы поговорим в следующей статье. Dash предоставляет Python классы для всех визуальных компонентов приложения. Разработчики предоставляют набор компонентов в так называемых dash_core_components и dash_html_components. Но также можно построить свой компонент используя JavaScript и React.js. В dash_core_components содержатся различные динамические формы такие как, например, выпадающие списки, графики и чек-боксы. В dash_html_components содержатся html конструкции, которыми можно завернуть наши формы. Например, Div блоки или теги заголовков H1, H2, и так далее. Разработчики предоставляют нам некую абстракцию от html с помощью словарей Python. Чтобы начать разбираться, создадим файл app.py, в котором будет содержаться следующее: # Загрузим необходимые пакеты import dash import dash_core_components as dcc import dash_html_components as html # Объяснение данных строк пока опускается, будет объяснено далее external_stylesheets = ['https://codepen.io/chriddyp/pen/bWLwgP.css'] app = dash.Dash(__name__, external_stylesheets=external_stylesheets) app.layout = html.Div(children=[ html.H1(children='Hello Dash'), html.Div(children=''' Dash: A web application framework for Python. '''), dcc.Graph( id='example-graph', figure={ 'data': [ {'x': [1, 2, 3], 'y': [4, 1, 2], 'type': 'bar', 'name': 'SF'}, {'x': [1, 2, 3], 'y': [2, 4, 5], 'type': 'bar', 'name': u'Montréal'}, ], 'layout': { 'title': 'Dash Data Visualization' } } ) ]) if __name__ == '__main__': app.run_server(debug=True) И запустим его из текущей директории командой: $ python app.py ...Running on http://127.0.0.1:8050/ (Press CTRL+C to quit) Видим, что сервер запустился и готов принимать запросы на порт 8050 (у вас может быть другой порт). Переходим по адресу http://127.0.0.1:8050/ и видим:  Рисунок 2.6. - Многоразовые компоненты Продолжая, представим, что нам нужны некоторые элементы, которые будут меняться, например в зависимости от входных данных пользователя нашего приложения. Для этого в Dash предусмотрены так называемые reusable components. Рассмотрим их на примере таблицы, данные для которой будут загружаться из Pandas dataframe. import dash import dash_core_components as dcc import dash_html_components as html import pandas as pd df = pd.read_csv( 'https://gist.githubusercontent.com/chriddyp/' 'c78bf172206ce24f77d6363a2d754b59/raw/' 'c353e8ef842413cae56ae3920b8fd78468aa4cb2/' 'usa-agricultural-exports-2011.csv') def generate_table(dataframe, max_rows=10): return html.Table( # Header [html.Tr([html.Th(col) for col in dataframe.columns])] + # Body [html.Tr([ html.Td(dataframe.iloc[i][col]) for col in dataframe.columns ]) for i in range(min(len(dataframe), max_rows))] ) external_stylesheets = ['https://codepen.io/chriddyp/pen/bWLwgP.css'] app = dash.Dash(__name__, external_stylesheets=external_stylesheets) app.layout = html.Div(children=[ html.H4(children='US Agriculture Exports (2011)'), generate_table(df) ]) if __name__ == '__main__': app.run_server(debug=True) Вспомним что из себя представляет таблица в HTML. HTML таблица определяется тэгом table. Каждая строка таблица определяется тэгом tr. Хедер таблица определяется тэгом th. A ячейки таблицы заполняются с помощью тэга td. Получается такая структура: <table > <tr> <th>Firstnameth> <th>Lastnameth> <th>Ageth> tr> <tr> <td>Jilltd> <td>Smithtd> <td>50td> tr> <tr> <td>Evetd> <td>Jacksontd> <td>94td> tr> <tr> <td>Johntd> <td>Doetd> <td>80td> tr> table> И выглядит она так:  Рисунок 2.7. - Компоненты ядра (Основные компоненты) Как мы уже сказали ранее, dash_core_components включает в себя высокоуровнвые элементы. Такие, как: выпадающее меню, графики и прочее. Вы можете ознакомиться с визуальной стороной этих элементов, каждый из которых сопровождается кодом (очень удобно, вселенский респект разрабочикам из Plot.ly) здесь. Для того, чтобы разработчик, а именно Вы, могли в коде различать все элементы, принято для каждого компонента ядра писать лейбл. Это что-то типа названия нашего элемента. Это не обязательно, но просто облегчит отладку. А пользователю даст возможность быстрее разобраться в вашем интерфейсе. Рассмотрим следующий код: import dash import dash_core_components as dcc import dash_html_components as html external_stylesheets = ['https://codepen.io/chriddyp/pen/bWLwgP.css'] app = dash.Dash(__name__, external_stylesheets=external_stylesheets) app.layout = html.Div([ html.Label('Dropdown'), dcc.Dropdown( options=[ {'label': 'New York City', 'value': 'NYC'}, {'label': u'Montréal', 'value': 'MTL'}, {'label': 'San Francisco', 'value': 'SF'} ], value='MTL' ), html.Label('Multi-Select Dropdown'), dcc.Dropdown( options=[ {'label': 'New York City', 'value': 'NYC'}, {'label': u'Montréal', 'value': 'MTL'}, {'label': 'San Francisco', 'value': 'SF'} ], value=['MTL', 'SF'], multi=True ), html.Label('Radio Items'), dcc.RadioItems( options=[ {'label': 'New York City', 'value': 'NYC'}, {'label': u'Montréal', 'value': 'MTL'}, {'label': 'San Francisco', 'value': 'SF'} ], value='MTL' ), html.Label('Checkboxes'), dcc.Checklist( options=[ {'label': 'New York City', 'value': 'NYC'}, {'label': u'Montréal', 'value': 'MTL'}, {'label': 'San Francisco', 'value': 'SF'} ], values=['MTL', 'SF'] ), html.Label('Text Input'), dcc.Input(value='MTL', type='text'), html.Label('Slider'), dcc.Slider( min=0, max=9, marks={i: 'Label {}'.format(i) if i == 1 else str(i) for i in range(1, 6)}, value=5, ), ], style={'columnCount': 2}) if __name__ == '__main__': app.run_server(debug=True) Тут мы видим, что мы создали как обычно один общий Div блок, в котором содержатся наши различные компоненты ядра. Выглядит это как-то так:  Рисунок 2.7. - Компоненты ядра (Основные компоненты) Визуализация данных о качестве работы сотрудников строительной компании на основе BI-системы Постановка задачи оценки эффективности работы сотрудников строительной компании Управление предприятием должно осуществляться на базе определенной организационной структуры. Структура предприятия и его подразделений определяется предприятием самостоятельно. Следует отметить, что структура управления может изменяться во времени в соответствии с динамикой масштабов и содержания функций управления, в связи с изменяющимися требованиями окружающего мира и т.п. В основу структуры управления предприятием положена определенная система. Известно три основные системы управления производством: линейная; функциональная; смешанная. Линейная – представляет собой схему непосредственного подчинения по всем вопросам нижестоящих подразделений вышестоящим. Это система достаточно проста и может быть эффективна, если не велико число рассматриваемых вопросов и по ним могут быть даны решения в ближайших подразделениях. Функциональная – система представляет собой схему подчинения нижестоящего подразделения ряду функциональных подразделений, решающих отдельные вопросы управления - технические, плановые, финансовые и т.п. В этом случае указания поступают более квалифицированные. Однако подчиненные подразделения не всегда знают, как согласовать полученные указания, в какой очередности их выполнять... В чистом виде эта система используется очень редко. В большинстве строительных компаний используется линейно-функциональная структура управления. Она представляет собой принцип построения управленческого процесса по функциональным подсистемам организации (маркетинг, производство, исследования и разработки, финансы, персонал и пр.). По каждой из них сформирована иерархия служб, пронизывающая всю организацию сверху донизу. Между отдельными подразделениями в компаниях существуют как вертикальные, так и горизонтальные связи. Вертикальные связи – это связи руководства и подчинения, например, связь между начальником предприятия и начальниками участков. Горизонтальные связи – это связи коопераций равноправных элементов.  Рисунок 3.1. – Пример организационной структуры строительной компании Директор осуществляет оперативное руководство деятельностью фирмы. На него возлагаются следующие обязанности: - планирование, организация и контроль деятельности; - ведение бухгалтерии; - взаимодействие с проверяющими и фискальными органами; - реклама электромонтажной организации, продвижение услуг; - администраторская работа; - снабжение расходными материалами. В качестве основных показателей процесса организации проведения строительных работ являются: - эффективность работы отдельных бригад; - эффективность работ отделов и подразделений; - объемы выполненных/невыполненных работ; - объем израсходованных и реализованных строительных материалов; - объем потраченных денежных средств на различные разделы строительства (АР, КР и т.д.); - объем выполненных также в разрезе разделов строительства и т.д. От объема и качества выполненных работ, обработанных заявок зависит эффективность как отдельного подразделения, так и всей компании в целом. Оценка в совокупности об отделе/компании строится на результативности отдельных сотрудников, влияющих на ход процессов в компании. В данной работе решается задача оценки эффективности работы сотрудников строительной компании. Синтез платформы хранения данных PG Admin 4 с системой анализа данных на основе языка Python Рассмотрим таблицу базы данных, содержащую в себе информацию об объектных сметах работ. Каждая запись таблицы содержит информацию о денежных средствах: сметная прибыль, накладные расходы, оплата за эксплуатацию машин, оплата труда за строительно-монтажные работы и стоимость приобретенных материалов для строительно-монтажных работ (рисунок 4). Оплата труда сотрудникам включена в базу данных как за этап проектирования строительных объектов, так и за этап его строительства.  Рисунок 3.2. Таблица PostgreSQL с объектными сметами строительно-монтажных работ (в том числе с оплатой труда строителям и проектировщикам) Для процесса оценки объемов работ в каждом филиале строительства (СФ, КФБ ЦОБ ЭФ и т.д.) была реализована круговая диаграмма с разбиением по разделам строительных работ (рисунок 5).  Рисунок 3.3. Дашборд для оценки расходования денежных средств отдельными филиалами по разным разделам работ Для анализа эффективности работы сотрудников строительной компании необходимо провести синтез платформы хранения данных PG Admin 4 с системой анализа данных на основе языка Python. Для этого в программной системе VS Code реализуется схема подключения к базе данных в PgAdmin 4 (рисунок 6).  Рисунок 3.6. Окно программной системы MS VS Code для подключения к базе данных с целью их визуализации  Рисунок 3.7. Структура базы данных, загруженной в MS VS Code  |