апрр. Кауфман-Джош-Сам-себе-MBA. Джош Кауфман Сам себе mba самообразование на 100% Перевод с английского Анны Логиновой, Павла Миронова и Светланы Кицюк 2е издание Издательство Манн, Иванов и Фербер Москва, 2013
 Скачать 2.23 Mb.
|
|
разрешение на предостав- ление дополнительной информации? — Продажи: сколько клиентов соглашается купить то, что вы пред- лагаете? какова средняя пожизненная ценность клиента? — Доставка ценности: как быстро вы можете обслуживать одно- го клиента? какова частота возвратов продукта или жалоб? — Финансы: каков размер вашей маржи прибыли? какова вели- чина покупательной способности? достаточно ли вам имею- щихся денег? Любые измерения, имеющие отношение к этим вопросам, скорее всего, являются KPI. Все остальные, не связанные с пропускной спо- собностью процесса или системы, можно не принимать во внимание. Ограничьте себя тремя-пятью KPI на систему. При выполнении из- мерений очень хочется держать в голове всю найденную вами инфор- мацию. Сопротивляйтесь такому желанию: если вы перегрузите свой мозг данными, то, скорее всего, пропустите те изменения, которые действительно имеют значение. Вы всегда сможете копнуть глубже в случае необходимости. Найдите системные KPI — и вы сможете управлять своей систе- мой, не боясь утонуть в море данных. Мусор на входе — мусор на выходе Если качественно начать, результаты не заставят себя ждать. Александр Кларк, дипломат, гражданский активист XIX века Анализ некачественных данных в лучшем случае грозит вам получе- нием бесполезных результатов, а в худшем — обманчивых или дис- кредитирующих. Глава 11. Анализ систем 391 Качество «входа» всегда отражается на качестве «выхода». Если вы будете строить дом из плохих материалов, он получится некра- сивым и ненадежным. Если вы будете неправильно питаться, вести сидячий образ жизни и слишком много смотреть телевизор, то, ско- рее всего, станете вялым и равнодушным. Если вы не чувствуете никакой радости от своей работы, то вряд ли сможете выполнить ее хорошо. «Мусор на входе — мусор на выходе» — очень простой принцип: при внесении бесполезных данных получается бесполезный резуль- тат. Ваша способность понимать систему непосредственно связана со способностью отслеживать то, что в ней происходит, а это, в свою очередь, зависит от качества и количества собранных вами данных. Если вы не хотите в результате получить мусор, откажитесь от него в самом начале. Всегда помните об этом, принимаясь за новый про- ект, — и конечный результат обязательно оправдает ваши надежды. Качественный вход — качественный выход. Аналитическая честность То, что может быть разрушено правдой, должно быть разрушено. Пэт Ходжилл, профессор, писатель-фантаст На последнем рабочем месте в Procter & Gamble я должен был раз- работать стратегию маркетинговых измерений — придумать способ определения эффективности рекламы нашей компании в сети. Каж- дый год P&G тратила миллионы долларов на рекламные баннеры, продвижение в поисковой системе и создание видеороликов. Я дол- жен был понять, стоят ли результаты затраченных денег. В процессе работы моя команда выяснила, что система, которую мы использовали для подсчета уникальных посетителей наших сайтов, работала неправильно. Она учитывала не только реальных пользователей, но и поисковых роботов, которые заходили на наши интернет-страницы по несколько раз в день. Иначе говоря, мы 392 Cам себе MBA. Самообразование на 100% попали в ситуацию мусор на входе — мусор на выходе, и все наши измерения оказались бесполезными. Естественно, мы рекомендовали модернизировать систему подсче- та посетителей. Но наше предложение не вызвало энтузиазма в ком- пании. Все сотрудники знали, что собираемые системой данные бес- полезны, но, похоже, им было все равно. Странно, правда? Проблема заключалась вот в чем: установка новой системы под- счета сильно уменьшила бы количество уникальных посетителей сайта, то есть то, что большинство считало ключевым показателем деятельности. Будучи более точной, новая система выставила бы их работу сотрудников в невыгодном свете. Исправлению ошибки они предпочли дальнейшую жизнь во лжи и сами поставили под сомне- ние свою способность увеличить эффективность работы сайта. Аналитическая честность означает беспристрастные измерение и анализ имеющихся у вас данных. Поскольку мы, люди, существа социальные, нам свойственно переживать из-за того, что подумают о нас другие, и это заставляет нас приукрашивать реальность. Если вы действительно хотите произвести улучшения, такое стремление может помешать сбору точных данных и проведению объективного анализа. Чтобы сохранить объективность по отношению к данным, луч- ше всего попросить, чтобы их оценил человек не заинтересованный, со стороны. Поддаться искажению, вызванному стимулированием, и предвзятости подтверждениялегко, когда на кону стоит ваше со- циальное положение. Наличие опытного, но беспристрастного тре- тьего лица, которое проверит ваши методы измерения и анализа, имеет огромное значение: может быть, вам и не понравятся его выво- ды, но по крайней мере вы будете точно знать, как обстоят дела. Снимите розовые очки и постарайтесь объективно принять те дан- ные, которые в конечном счете помогут вам совершенствовать вашу систему. Глава 11. Анализ систем 393 Контекст Чтобы что-то понять, нужно знать контекст. Ричард Рабкин, психиатр В этом месяце ваш доход составил 200 тысяч долларов. Это хорошо или плохо? Зависит от обстоятельств. Если в прошлом месяце вы заработали 100 тысяч долларов — это хорошо. А если в этом месяце вы потратили 400 тысяч долларов — это плохо. Контекст — это использование соответствующих измерений с це- лью предоставления дополнительной информации о данных, кото- рые вы исследуете. Чтобы выбрать между «хорошо» и «плохо», недо- статочно знать свой доход — нужна дополнительная информация. Размер дохода за предыдущий месяц и расходов в нынешнем месяце и есть тот контекст, который поможет прояснить всю ситуацию. Обобщенные измерения практически всегда бесполезны, особенно когда речь идет о реальных улучшениях, поскольку они лишены кон- текста. То, что на ваш сайт в этом месяце зашло 2 миллиона пользо- вателей, ни о чем не говорит. Без контекста вы не можете определить, было ли внесено в систему какое-либо изменение или насколько эф- фективно она работает, а это, в свою очередь, ограничивает вашу спо- собность ее усовершенствовать. Старайтесь принимать во внимание не только цифры, но и кон- текст: без него вы рискуете пропустить какое-нибудь важное изме- нение в данных. Даже зная «общий показатель качества» или то, что доход увеличился или уменьшился, вы не сможете понять, важно это или нет и почему так произошло (случайность это или следствие какого-то изменения в системе или среде). Возьмите себе за правило всегда рассматривать каждое измерение в контексте с другими измерениями. 394 Cам себе MBA. Самообразование на 100% Выборка Если вы не верите в теорию выборки, в следующий раз, ко- гда пойдете к врачу, попросите его взять всю вашу кровь. Джан Фулгони, основатель и председатель компании Comscore, Inc. Что делать, если ваша система слишком большая и сложная, чтобы собирать данные по каждому процессу? Иногда не стоит измерять все потоки. Если вы управляете масшта бируемой системой, зачастую невозможно проверить все элементы и найти все ошибки. Как быстро определить возможные проблемы, если система обрабатывает огромное количество данных и заключает миллионы сделок? Выборка — это определенная случайным образом часть некое- го целого, способная рассказать о поведении всей системы. Если вы когда-нибудь сдавали кровь на анализ, вы прекрасно представляете, что такое выборка. Врач или медсестра берет небольшое количество крови и отправляет ее в лабораторию. Если тест покажет, что в этом образце наблюдаются какие-то аномалии, вероятнее всего, они при- сутствуют и во всей остальной крови в вашем организме. Выборка помогает определить системные ошибки, не тратя время и деньги на анализ всей системы. Если вы производите мобильные телефоны, нет необходимости проверять каждое устройство, сходя- щее с конвейера: проверка каждого двадцатого позволит в короткие сроки оценить положение дел и в случае необходимости подкоррек- тировать систему. В зависимости от того, насколько быстро и точно нужно выявить ошибки, вы можете уменьшить или увеличить часто- ту выборки. Одна из форм выборки — проверка без предупреждения. Многие магазины периодически нанимают «таинственных покупателей», ко- торые проверяют, насколько хорошо персонал выполняет свою рабо- ту. Они интересуются ассортиментом, задают кучу вопросов, хотят вернуть купленный товар и вообще действуют на нервы. А посколь- ку работники магазина не знают, какие клиенты настоящие, а какие Глава 11. Анализ систем 395 подставные, такой метод оказывается намного эффективнее постоян- ного пристального контроля за каждым отдельным служащим. Однако если образец был взят не случайным образом или не яв- ляется «представителем» общего, совокупности, результаты выборки могут быть неверными. Ясно, что при оценке среднего дохода семьи мы получим разные результаты, если возьмем жителей Манхэттена и Западной Виргинии. Чем больше у вас образцов, выбранных слу- чайным образом, тем вернее будут ваши результаты. Доверительный интервал Все делают общие выводы из одного примера. По край- ней мере, я поступаю именно так. Стивен Браст, писатель-фантаст Представьте, что вы купили волшебную монету, которая чаще всего падает орлом вверх. Как узнать, что это не подделка? Конечно, нужно проверить ее в действии. Давайте представим, что, подбросив ее пять раз, вы получили два орла и три решки. Так что, нужно ее вернуть? Доверительный интервал представляет собой вероятность того, что определенный анализ окажется правильным. Прежде чем очер- нять репутацию продавца, стоит удостовериться в точности ваших результатов. Чем больше образцов вы возьмете, тем выше доверительный ин- тервал данного измерения. Объем выборки увеличивается каждый раз, когда вы подбрасываете монету. Чем он больше, тем точнее ваши измерения и, соответственно, тем больше к ним доверия. Подбросив монету всего пять раз, вы не можете быть полностью уверены в том, что это подделка: объем выборки слишком мал. Если же вы подбросите ее тысячу раз и она в 70% случаев упадет решкой вверх, значит монета действительно неправильная, но все равно она не подделка мошенника (скорее всего, вам досталась монета, которая в большинстве случаев падает не орлом вверх, а решкой). 396 Cам себе MBA. Самообразование на 100% Я не буду детально описывать, как именно рассчитывается довери- тельный интервал, но сделать это довольно легко, особенно если вы умеете пользоваться электронными таблицами или базами данных. Начинающим я рекомендую почитать книгу Principles of Statistics («Принципы статистики»). Помните о том, что результатам измерений, основанных на малых объемах выборки, не стоит доверять. Каждый раз, когда вы сталкивае- тесь с выборкой, основанной на незнакомых вам данных, обязательно проверяйте ее объем и способ отбора образцов. Чем больше образцов вы соберете, тем больше доверия будут вызывать результаты анализа. Соотношение Тот, кто отказывается делать расчеты, обречен гово- рить чепуху. Джон Маккарти, программист и когнитивист, автор термина «искусственный интеллект» Соотношение —это метод сравнения двух показателей или результа- тов измерения друг с другом. Определив соотношение «выходного» параметра к «входному», вы сможете измерить все виды отношений между различными элементами вашей системы. Предположим, из 30 посетителей вашего магазина 10 ушли с по- купкой. То есть соотношение будет 10/30, или 1/3, то есть 33%. А теперь предположим, что вы провели для продавцов тренинг, по результатам которого повысилась их эффективность: 15 покупок на 30 клиентов, зашедших в магазин. Тогда соотношение будет 15/30, или 1/2, то есть 50%. Подумайте об измерении возврата на инвестиции: вы просто де- лите сумму доходов на сумму расходов и вычитаете 1. Результат, вы- раженный в процентах, и будет величиной возврата. Например, вы потратили 2 миллиона и заработали 4. Окупаемость составит 100%: 4 миллиона (заработанные) / 2 миллиона (потрачен- ные) = 2. 2 – 1 = 1 = 100%. Глава 11. Анализ систем 397 Ниже указаны некоторые полезные отношения. — Доходность активов: какой доход вы получили на один доллар, вложенный в оборудование? — Доходность капитала: какой доход вы получили на один инве- стированный доллар? — Доходность рекламы: какой доход вы получили на один доллар, вложенный в рекламу? — Доход на сотрудника: какой доход вы получили на одного на- нятого вами сотрудника? — Закрытие сделок: какая доля обслуженных вами клиентов со- вершила у вас покупку? — Отношение возвратов/жалоб: сколько возвратов или жалоб было сделано на каждую продажу? Постоянно проверяя эти соотношения, намного легче заметить из- менение в системе и то, к чему оно ведет. Если показатель закрытия сделок или окупаемость инвестиций растет — это хороший знак. Если же величина этих показателей падает, стоит выяснить причины. Проявите фантазию: изучайте свой бизнес и определяйте соотноше- ния, которые раскрывают наиболее важные элементы вашей системы. Среднее арифметическое, медиана, мода и размах Вам больно не от того, что вы чего-то не знаете, а от того, что вы что-то знаете. Уилл Роджерс, американский ковбой и комик В среднем капитал читателей Wall Street Journal составляет 1,7 миллиона долларов. Аудитория газеты, похоже, очень богатые люди, не правда ли? Да, это так, но не настолько, как вы думаете. Дело в том, что Wall Street Journal читают такие люди, как Билл Гейтс и Уоррен Баффет, 398 Cам себе MBA. Самообразование на 100% а их состояние измеряется миллиардами. Одним своим существо- ванием они делают среднее арифметическое намного выше, чем оно есть на самом деле. Среднее арифметическоерассчитывается путем деления суммы всех данных на их количество. Рассчитывать среднее арифметиче- ское несложно, но тут может вмешаться синдром Гейтса — Баффета: наличие выходящих за рамки объектов увеличивает или уменьша- ет его настолько, что оно перестает быть репрезентативным. Однако если исключить такие объекты, среднее арифметическое становится более точным. Чтобы определить медиану,необходимо выстроить значения в порядке убывания и найти данные, расположенные посередине ряда. Медиана связана с особым показателем, называемым процен- тиль, и является 50-м процентилем. По определению, 50% значений в ряду будут находиться ниже медианы. Рассчитав медиану и срав- нив ее со средним значением, вы сможете проверить, не повлияли ли выходящие за рамки объекты на результат. Мода — это значение в ряду данных, которое встречается наи- более часто. Ряд может содержать несколько мод — в этом случае можно сказать, что он мультимодален. Такие данные указывают на потенциально интересные связи в системе. Размах — это разность между наибольшим и наименьшим зна- чениями в ряду. Размах лучше всего использовать для быстрой оценки: вам нужно всего два значения. Правда, их легче всего ис- казить слишком высокими или слишком низкими выходящими за рамки значениями, такими как, например, банковский счет Билла Гейтса. Среднее арифметическое, медиана, мода и размах — очень полез- ные статистические средства анализа, при помощи которых можно получить типичные результаты, конечно, при условии, что вы ис- пользуете их правильно. Глава 11. Анализ систем 399 Корреляция и причинно-следственная связь Корреляция — это не причинно-следственная связь, но она явно на что-то намекает. Эдвард Тафти, статистик, исследователь в области информационного дизайна и профессор Йельского университета Представьте себе бильярдный стол: зная точное расположение каж- дого шара и то, какие силы воздействуют на биток * (вектор воздей- ствия, ударная сила, точка воздействия, трение стола и сопротивле- ние воздуха), вы можете точно вычислить его путь и то, как он будет воздействовать на другие шары на этом пути. Профессиональные би- льярдисты настолько хорошо моделируют ситуацию в уме, что могут раскидать партию за считаные минуты. Это причинноследственная связь, то есть цепь причин и следствий. Поскольку вычислить полную цепь причинной связи несложно, мож- но сказать, что именно удар по битку вызвал попадание другого шара в лузу. Если вы будете бить по битку с одинаковой силой и одинаковым образом, вы раз за разом будете получать тот же самый результат. Вот другой мысленный эксперимент с гипотетическими данными: люди, страдающие сердечными заболеваниями, съедают в среднем по 57 двойных чизбургеров с беконом каждый год. Выходит, двой- ные чизбургеры с беконом приводят к сердечным приступам? Не обязательно. Эти же люди каждый день принимают душ и моргают 5,6 миллиона раз в год. Не будете же вы утверждать, что душ и морга- ние тоже приводят к сердечным приступам? Корреляция —это не то же самое, что причинно-следственная связь. Даже если вы видите, что одно измерение тесно связано с дру- гим, это еще не доказывает, что первое стало причиной последнего. Представьте, что у вас своя пиццерия и вы разместили тридцатисе- кундную рекламу на каком-нибудь телеканале. После выхода ролика в эфир вы заметили, что ваши продажи возросли на 30%. Произошло ли это благодаря рекламе? * Шар (в бильярде). Прим. ред. 400 Cам себе MBA. Самообразование на 100% Не обязательно. Взлету продаж могли способствовать и другие причины. Можете быть, в тот день в городе проходила научная кон- ференция и ее участники выбрали ваше место, чтобы быстро переку- сить. Может быть, закончился учебный год, и семьи с детьми выбра- лись в город, чтобы отпраздновать это событие. Может быть, в это же время вы запустили акцию «две пиццы по цене одной» и тем самым привлекли посетителей. Сложно вычислить, что именно стало при- чиной повышенного спроса. Вполне возможно, реклама, наоборот, вызвала сокращение объема продаж: люди сочли ее непривлекательной или даже неприятной, но это осталось незамеченным, поскольку благодаря какому-то дру- гому фактору продажи выросли. Выявить наличие причинно-следственной связи всегда сложнее, чем наличие корреляции. При анализе сложных |