Для Герасимова 2. Разработка модели потребительских предпочтений на основе данных рекомендательной сети epinions com
 Скачать 2.87 Mb.
|
МетодологияПроцесс выполнения работы можно разбить на три этапа: Сбор неструктурированных данных с сайта epinions.com и сохранение их в базе данных Преобразование данных в структурированный вид, удобный для применения аналитических методов Анализ данных и интерпретация результатов В перечисленных этапах можно выделить два важных аспекта: технический и аналитический. Технический аспект связан с тем, что для сбора и обработки большого объема данных разной структуры приходится активно пользоваться современными программными средствами и разрабатывать собственные небольшие процедуры и программы. Аналитический аспект связан с выбором методов анализа данных, которые позволят получить ответы на интересующие нас вопросы. В этом разделе речь пойдет о том, какие технологии и методы были выбраны для выполнения работы и почему были выбраны именно они. О наиболее важных с точки зрения автора методах и технологиях будет рассказано подробнее. Также будут даны сведения об источнике данных – сайте epinions.com, его структуре и отличиях от других подобных ресурсов. Источник данныхИсточник данных важен для многих аналитических задач. Он может повлиять на выбор исследователем методов анализа, а также на качество полученного результата. Расскажем о требованиях к источнику данных, которые мы предъявляем в данной задаче, его особенностях и структуре Выбор источника данныхВ Интернете существует большое количество сайтов, которые позволяют своим пользователям оставлять отзывы на различные товары, услуги и т.п. Среди них есть специализированные, то есть посвященные одной теме, например: imdb.com (фильмы и телепередачи), cnet.com (электроника). Реже встречаются универсальные ресурсы, которые имеют множество категорий товара для обзора, например: Amazon (amazon.com), Яндекс.Маркет (market.yandex.ru), Epinions (epinions.com). Для целей этой работы желательно использовать сайт, который: имеет структуру, которая позволяет достаточно быстро (в течение нескольких суток) получить со страниц сайта большой объем качественных данных (несколько тысяч активных пользователей и их отзывы). Главный критерий здесь – возможность получение большого количества активных пользователей за минимальное время. имеет большое количество наименований товаров и услуг различных видов для обзора, а также активное пользовательское сообщество. Это позволяет выявить интересы пользователя по отзывам, которые он оставляет. предъявляет строгие требования к содержанию и формату отзыва. Примером могут служить содержащиеся в отзыве дополнительные сведения, помимо текста: общая оценка товара, детальные оценки некоторых свойств товара, цена, по которой куплен товар, и т.п. Строгий формат облегчает автоматизированное извлечение данных из html-кода страницы. В качестве возможных источников данных рассматривались три веб-сайта: Amazon (amazon.com) – крупнейший в мире интернет-магазин Яндекс.Маркет – самый популярный в рунете сервис по подбору товаров Epinions.com – не очень известный американский сервис, который соединяет в себе элементы социальной сети, блог-платформы и сервиса по подбору товара Проверим каждый из сайтов на соответствие указанным выше требованиям. Amazon данных слишком много, их расположение не дает возможности быстрой загрузки товарных категорий достаточно, пользовательское сообщество отсутствует автор отзыва должен поставить товару общую оценку, других требований к дополнительным сведениям нет Яндекс.Маркет аналогично Amazon аналогично Amazon отзывы имеют общую оценку и детальные оценки, но критерии для всех товаров одинаковы: качество изготовления, адекватность цены, удобство эксплуатации Epinions не слишком большой объем данных, имеет удобную структуру с возможностью отображения на страницах большого количества информации. Список активных пользователей получить легко, так как на сайте имеются рейтинги популярных авторов в каждой товарной категории товарных категорий больше, чем у большинства конкурентов, в т.ч. Amazon и Яндекс.Маркет отзыв имеет строгие требования к формату. В отзыве, помимо общей оценки, указывается, рекомендует ли автор товар к покупке. Для каждой товарной категории имеется набор свойств, по которым пользователь может выставить оценки в своем отзыве. Для фотокамер этими свойствами являются: надежность, качество снимков, простота использования, скорость срабатывания и время работы от аккумулятора Наиболее характерной особенностью сайта Epinions является его активное пользовательское сообщество, что проявляется в двух аспектах: сайтом управляют сами пользователи. За каждую товарную категорию отвечают отдельные люди, выбираемые другими пользователями, они же первыми оценивают новые отзывы на соответствие правилам сайта сайт обладает элементами социальной сети. Каждый пользователь может подписаться на отзывы другого пользователя, выразив ему доверие (в терминологии сайта). Поэтому многие пользователи относятся к Epinions как к социальной сети или блог-платформе и уделяют большое внимание качеству своих отзывов Главным недостатком сайта Epinions в качестве источника маркетинговых является недостаточное количество отзывов на новинки потребительского рынка и недостаточный прирост пользовательской аудитории, что является следствием падения популярности сайта в последние годы. Автор убежден, что при отсутствии необходимости в большом количестве самых последних данных об отзывах пользователей, Epinions – один из лучших источников маркетинговой информации. Структура сайта epinions.comРассмотрим основные типы страниц сайта Epinions [12] и их информационную структуру. Это пригодится в дальнейшем для выбора аналитических методов и построения процедур сбора данных. Профиль пользователя В профиль пользователя входят страницы двух видов – сеть доверия пользователя (список его связей) и список его отзывов. Страница со списком связей пользователя представляет собой список, в котором имеются ссылки на профили других пользователей и даты установления связей. Если связь установлена ранее 11 января 2001 года, то вместо даты указан символ “-”. Страницы со связями бывают двух видов. На одних отображаются те, кому выразил доверие пользователь, на других – те, кто выразил доверие ему. По структуре они не отличаются.  Рисунок 1.1.1 – Вид страницы со связями пользователя сайта Epinions Страница с отзывами пользователя представляет собой список, в каждой строчке которого имеются следующие данные: ссылка на полный отзыв, ссылка на страницу с товаром, на который оставлен отзыв, общая оценка товара, категория товара, общая категория товара.  Рисунок 1.1.2 – Вид страницы с отзывами пользователя сайта Epinions Отзыв На странице отзыва имеется следующая информация: Текст отзыва Оценки товара по характеристикам, установленным для его категории, а также общая оценка товара Текст отзыва содержит разделы: Достоинства и недостатки товара Вывод Детальный отзыв Рекомендует ли автор товара (да/нет)  Рисунок 1.1.3 – Вид страницы с отзывом на сайте Epinions На рисунке представлена страница с отзывом на тостер. Для товаров этой категории установлены следующие характеристики для оценки: Простота использования (Ease of Use) Надежность (Durability) Простота очистки (Ease of Cleaning) Дизайн (Style) Отметим, что на странице с отзывом детальных оценок по характеристикам может не быть, или они могут присутствовать не в полном объеме для соответствующей категории. В частности, в отзыве, приведенном на рисунке, нет оценки дизайна тостера. Товар На странице товара имеется можно найти следующую информацию о нем: Полное наименование и характеристики товара Средняя оценка товара и гистограмма оценок Список предложений с ценами Список отзывов с оценками, ссылками на автора и полный отзыв  Рисунок 1.1.4 – Вид страницы с характеристиками товара на сайте Epinions  Рисунок 1.1.5 – Вид страницы с отзывами на товар на сайте Epinions |