Маркетинг и менеджмент в России и за рубежом
 Скачать 4.67 Mb.
|
|
отсутствие разброса ответов по значениям шкалы. Попадание ответов в один пункт свидетельствует о полной непригодности измерительного инструмента — шкалы. Такая ситуация может возникнуть или из-за «нормативного» давления в сторону общепринятого мнения, или из-за того, что градации (значения) шкалы не имеют отношения к распределению данного свойства у рассматриваемых объектов (нерелевантны). Например, если все опрашиваемые респонденты согласны с утверждением «хорошо, когда строительный инструмент является универсальным» и нет ни одного ответа «не согласен», то подобная шкала не поможет дифференцировать отношение респондентов к разным типам строи- тельных инструментов. Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обширной зоной. Так, если респондентам для оценки предлагается шкала, имеющая положительный и отрицательный полюса, в частности от +3 до —3, то при оценивании какой-то заведомо положительной ситуации респонденты не используют отрицательные оценки, а дифференцируют свое мнение лишь с помощью положительных. Для того чтобы вычислить значение относительной ошибки измерения, исследователь должен знать определенно, какой же метрикой пользуется респондент — всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова действительная вариация мнений. Для вопросов, имеющих качественные градации ответов, можно применять подобное требование в отношении каждого пункта шкалы: каждый из них должен набирать не менее 5% ответов, в противном случае считаем этот пункт шкалы неработающим. Требование 5%-ного уров- ня наполнения каждой градации шкалы не следует рассматривать как строго обязательное; в зависимости от задач исследования могут быть выдвинуты большие или меньшие значения этих уровней. Неравномерное использование отдельных пунктов шкалы. Случается, особенно при использовании упорядоченных шкал, что некоторое значение переменной (признака) систематически выпадает из поля зрения респондентов, хотя соседние градации, характеризующие более низкую и более высокую степень выраженности признака, имеют существенное наполнение. Так, если конфигурация распределения ответов на вопрос с четырьмя упорядоченными градациями такова, как на рис. 4.4, градации данной шкалы, видимо, неудачно сформулированы. Значительное наполнение двух соседних по отношению к пункту 2 пунктов (1 и 3) свидетель- ствует о «захвате» части голосов из плохо сформулированного пункта 2. 141 Ранг градации Рис. 4.4. Пример неравномерного распределения ответов по шкале Аналогичная картина наблюдается и в том случае, когда респонденту предлагают шкалу, имеющую слишком большую дробность: будучи не в состоянии оперировать всеми градациями шкалы, респондент выбирает лишь несколько базовых. Например, зачастую десятибалльную шка- лу респонденты расценивают как некоторую модификацию пятибалльной, предполагая, что «десять» соответствует «пяти», «восемь» — «четырем», «пять» — «трем» и т.д. При этом базовые оценки используются значительно чаще, чем другие. Для выявления указанных аномалий равномерного распределения по шкале можно предложить следующее правило: для достаточно большой доверительной вероятности (1—α ≥ 0,99) и, следовательно, в достаточно широких границах наполнение каждого значения не должно существенно отличаться от среднего из соседних наполнений. Для чего используется критерий хи- квадрат [19]. Определение грубых ошибок. В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т. п. Это обнаруживается в том, что в рядах измерений попадаются данные, резко отличающиеся от совокупности всех остальных значений. Чтобы выяснить, нужно ли эти значения признать грубыми ошибками, устанавливают критическую границу, так чтобы вероятность того, что крайние значения превысят ее, была бы достаточно малой и соответствовала бы некоторому уровню значимости а. Это правило основано на том, что появление в выборке чрезмерно больших значений хотя и возможно как следствие естественной вариабельности значений, но маловероятно. Если окажется, что какие-то крайние значения совокупности принадлежат ей с очень малой вероятностью, то такие значения признаются грубыми ошибками и исключаются из дальнейшего рассмотрения, Выявление грубых ошибок особенно важно проводить для выборок малых объемов: не будучи исключенными из анализа, они существенно искажают параметры выборки. Для этого используются специальные статистические критерии определения грубых ошибок [19]. Итак, дифференцирующая способность шкалы как первая существенная характеристика ее надежности предполагает: обеспечение достаточного разброса данных; выявление фактического использования респондентом предложенной протяженности шкалы; анализ отдельных «выпадающих» значений; исключение грубых ошибок. После того как установлена относительная приемлемость используемых шкал в указанных аспектах, следует переходить к выявлению устойчивости измерения по этой шкале. Существует несколько методов оценки устойчивости измерений: повторное тестирование; включение в анкету эквивалентных вопросов и разделение выборки на две части. Метод повторного тестирования был охарактеризован выше. Часто интервьюеры в конце опроса частично его повторяют, говоря при этом: «Заканчивая нашу работу, вновь коротко пройдемся по вопросам анкеты, чтобы я мог проверить, все ли я правильно записал из ваших ответов». Конечно, речь идет не о повторении всех вопросов, а только критических из их числа. При этом надо помнить, что если интервал времени между тестированием и повторным тестированием слишком короткий, то респондент просто может 142 помнить первоначальные ответы. Если интервал слишком велик, то могут иметь место некоторые реальные изменения. Включение в анкету эквивалентных вопросов предполагает использование в одной анкете вопросов по той же проблеме, но сформулированных по-другому. Их респондент должен воспринимать как разные вопросы. Главная опасность данного метода заключается в степени эквивалентности вопросов; если это не достигается, то респондент отвечает на разные вопросы. Разделение выборки на две части основано на сравнении ответов на вопросы двух групп респондентов. Предполагается, что эти две группы являются идентичными по своей композиции и что средние оценки ответов для этих двух групп являются очень близкими. Все сравнения дела- ются только на групповой основе, поэтому сравнение внутри группы проводить невозможно. Например, среди студентов колледжа с помощью модифицированной шкалы Лайкерта с пятью градациями был проведен опрос относительно их будущей карьеры. В анкете приводилось утвер- ждение: «Я считаю, что меня ожидает блестящая карьера». Ответы были обобщены, начиная с «сильно не согласен» (1 балл) и кончая «сильно согласен» (5 баллов). Затем общая выборка опрошенных была разделена на две группы и были вычислены средние оценки для этих групп. Средняя оценка была одинаковой для каждой группы и равнялась 3-м баллам. Данные результаты дали основание считать измерение надежным. Когда же групповые ответы были проанализированы более внимательно, то оказалось, что в одной группе все студенты ответили «и согласен и не согласен», а в другой — 50% ответили «сильно не согласен», а другие 50% — «сильно согласен». Как видно, более глубокий анализ показал, что ответы не являются идентичными. Вследствие данного недостатка этот метод оценки устойчивости измерений является наименее популярным. О высокой надежности шкалы можно говорить лишь в том случае, если повторные измерения при ее помощи одних и тех же объектов дают сходные результаты. Если устойчивость проверяют на одной и той же выборке, то часто оказывается достаточным сделать два последовательных замера с определенным временным интервалом — таким, чтобы этот про- межуток не был слишком велик, чтобы сказалось изменение самого объекта, но и не слишком мал, чтобы респондент мог по памяти «подтягивать» данные второго замера к предыдущему (т. е. его протяженность зависит от объекта изучения и колеблется от двух до трех недель). Существуют различные показатели оценки устойчивости измерений. Среди них чаще всего используется средняя квадратическая ошибка (см. ниже). До сих пор речь шла об абсолютных ошибках, размер которых выражался в тех же единицах, что и сама измеряемая величина. Это не позволяет сравнивать ошибки измерения разных признаков по разным шкалам. Следовательно, помимо абсолютных, нужны относительные показатели ошибок измерения. В качестве показателя для нормирования абсолютной ошибки можно использовать максимально возможную ошибку в рассматриваемой шкале (x max ). Если число делений шкалы k, тогда x max , равное разнице между крайними значениями шкалы (x max — x min ), будет k — 1 и относительная ошибка окажется такой: (здесь х — средняя арифметическая ошибка измерения). Однако зачастую этот показатель «плохо работает» из-за того, что шкала не используется на всей ее протяженности. Поэтому более показательными являются относительные ошибки, рассчитанные по фактически используемой части шкалы. Если число градаций в «работающей» части шкалы обозначить k 1 , то тогда а если в качестве абсолютной ошибки использовалась средняя квадратическая ошибка S, то показатель относительной ошибки 143 Для повышения устойчивости измерения необходимо выяснить различительные возможности пунктов используемой шкалы, что предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных пробах респонденты четко повторяют свои оценки. Следовательно, высокой различимости делений шкалы должна соответствовать малая ошибка. Эту же задачу можно описать в терминах чувствительности шкалы, которая характеризуется количеством делений, приходящихся на одну и ту же разность в значениях измеряемой величины, т. е. чем больше градаций в шкале, тем больше ее чувствительность. Однако чувствительность нельзя повышать простым увеличением дробности, ибо высокая чувствительность при низкой устойчивости является излишней (например, шкала в 100 баллов, а ошибка измерения ±10 баллов). Но и при малом числе градаций, т. е. при низкой чувствительности, может быть низкая устойчивость, и тогда следует увеличить дробность шкалы. Так бывает, когда респонденту навязывают категорические ответы «да», «нет», а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда «да», иногда «нет». Итак, следует найти некоторое оптимальное соотношение между чувствительностью и устойчивостью. Рекомендуется использовать столько градаций в шкале, чтобы ее ошибка была меньше 0,5 балла. Если ошибка меньше 0,5 балла, то в последовательных опросах ответы в среднем будут совпадать. При 1 x 1 ≥ 0,5 балла ответы в последовательных опросах будут в среднем отличаться на 1 балл (и выше). Существуют способы, позволяющие добиться требуемой чувствительности [19]. На основе данных двух последовательных проб определяют пороги различаемости градаций шкалы. В том случае, если обнаружено смешение градаций, применяют один из двух способов. Первый способ. В итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала). Второй способ. Для предъявления респонденту сохраняют прежнюю дробность шкалы и только при обработке укрупняют соответствующие ее пункты. Второй способ кажется предпочтительнее, поскольку, как правило, большая дробность шкалы побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различительной способности ис- ходной шкалы. Итак, предложенные способы анализа целесообразны при отработке окончательного варианта методики. Анализ устойчивости отдельных вопросов шкалы позволяет: а) выявить плохо сформулированные вопросы, их неадекватное понимание разными респондентами; б) уточнить интерпретацию шкалы, предложенной для оценки того или иного явления, и выявить более оптимальный вариант дробности значений шкалы. Изучение устойчивости окончательного варианта методики даст представление о надежности данных (связанной с устойчивостью), которые будут получены в основном исследовании. Обоснованность измерения. Проверка обоснованности шкалы предпринимается лишь после того, как установлены достаточные правильность и устойчивость измерения исходных данных. Как уже отмечалось, проверка обоснованности — достаточно сложный процесс и, как правило, не до конца разрешимый. И поэтому нецелесообразно сначала применять трудоемкую технику для выявления обоснованности, а после этого убеждаться в неприемлемости данных вследствие их низкой устойчивости. Обоснованность данных измерения — это доказательство соответствия между тем, что измерено, и тем, что должно было быть измерено. Некоторые исследователи предпочитают исходить из так называемой наличной обоснованности, т. е. обоснованности в понятиях использованной процедуры. Например, считают, что удовлетворенность товаром — это то свойство, которое содержится в ответах на вопрос: «Удовлетворены ли вы товаром?». В серьезном маркетинговом исследовании такой сугубо эмпирический подход может оказаться неприемлемым. Остановимся на возможных формальных подходах к выяснению уровня обоснованности методики. Их можно разделить на три группы: 1) конструирование типологии в соответствии с 144 целями исследования на базе нескольких признаков; 2) использование параллельных данных; 3) судейские процедуры. Первый вариант нельзя считать полностью формальным методом — это всего лишь некоторая схематизация логических рассуждений, начало процедуры обоснования, которая может быть на этом и закончена, а может быть подкреплена более мощными средствами. Второй вариант требует использования по крайней мере двух источников для выявления одного и того же свойства. Обоснованность определяется степенью согласованности соответствующих данных. В последнем случае мы полагаемся на компетентность судей, которым предлагается определить, измеряем ли мы нужное нам свойство или что-то иное. Конструированная типология. Один из способов — использование контрольных вопросов, которые в совокупности с основными дают большее приближение к содержанию изучаемого свойства, раскрывая различные его стороны. Например, можно определять удовлетворенность используемой моделью автомобиля лобовым вопросом: «Устраивает ли вас ваша нынешняя модель автомобиля?» Комбинация его с двумя другими косвенными: «Хотите ли вы перейти на другую модель?» и «Рекомендуете ли вы своему другу купить данную модель автомобиля?» позволяет произвести более надежную дифференциацию респондентов. Типология по пяти упорядоченным группам от наиболее удовлетворенных автомобилем до наименее удовлетворенных проводится с помощью «логического квадрата». Обоснованность в подобного рода типологии не доказывается каким-либо формальным критерием и опирается на логические доводы. Единственное требование, которое может быть выдвинуто при конструировании такого рода типологии, — это положительная корреляция между составляющими ее признаками. Отсутствие положительной взаимосвязи между вопросами может свидетельствовать о том, что мы не понимаем сущности измеряемого явления. Параллельные данные. Нередко целесообразно разработать два равноправных приема измерений заданного признака, что позволяет установить обоснованность методов относительно друг друга, т. е. повысить общую обоснованность путем сопоставления двух независимых результатов. Классифицируем параллельные процедуры в зависимости от соотношения методов и исполнителей: а) несколько методов — один исполнитель; б) один метод — несколько исполнителей; в) несколько методов — несколько исполнителей. Несколько методов — один исполнитель. Здесь один и тот же исполнитель использует два или более различных методов для измерения одного и того же свойства. Рассмотрим различные способы использования этого метода и прежде всего — эквивалентные шкалы. Возможны равнозначные выборки признаков для описания измерения поведения, отношения, ценностной ориентации, т.е. какой-то установки. Эти выборки и образуют параллельные шкалы, обеспечивая параллельную надежность. Каждую шкалу рассматриваем как способ измерения некоторого свойства и в зависимости от числа параллельных шкал имеем ряд способов измерении. В качестве исполнителя выступает респондент, дающий ответы одновременно по всем параллельным шкалам. Все ответы сорти- руются в зависимости от принадлежности к шкале, и таким образом получаем параллельные данные. При обработке такого рода данных следует выяснить два момента: 1) непротиворечивость пунктов отдельной шкалы; 2) согласованность оценок по разным шкалам. Первая проблема возникает в связи с тем, что модели ответов не представляют идеальной картины; ответы нередко противоречат друг другу. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале. Вторая проблема непосредственно касается сопоставления параллельных данных. Рассмотрим пример неудавшейся попытки повысить надежность измерения признака «удовлетворенность автомобилем» с помощью трех параллельных порядковых шкал. Приведем две из них: 145 Шкала А 11. Данная модель мне очень нравится 5 1. Данная модель скорее нравится, чем не нравится 4 8. Трудно сказать, нравится ли мне данная модель 3 14. Данная модель мне скорее не нравится, чем нравится 2 3. Данная модель мне совершенно не нравится 1 Шкала В 2. Данная модель - одна из лучших 5 13. Считаю, что данная модель не хуже многих других 4 5. Данная модель не хуже и не лучше других 3 12. Считаю, что есть много моделей, которые лучше моей 2 4. Моя модель автомобиля хуже, чем многие другие 1 Пятнадцать суждений (в порядке, обозначенном слева, в начале каждой строки) предъявляются респонденту общим списком, и он должен выразить свое согласие или несогласие с каждым из них. Каждому суждению присваивается оценка, соответствующая его рангу в указанной пятибалльной шкале (справа). (Например, согласие с суждением 4 дает оценку «1», согласие с суждением 11 — оценку «5» и т. д.) Рассматриваемый здесь способ предъявления суждений списком дает возможность проанализировать пункты шкалы на непротиворечивость. При использовании упорядоченных шкал наименований обычно считается, что пункты, образующие шкалу, взаимно исключают друг друга и респондент легко найдет тот из них, который ему подходит. Изучение распределений ответов показывает, что респонденты выражают согласие с противоречивыми (с точки зрения исходной гипотезы) суждениями. Например, по шкале «В» 42 человека из 100 одновременно согласились с суждениями 13 и 12, т. е. с двумя противоположными суждениями. Наличие в ответе противоречивых суждений приводит к необходимости вычислять ошибку противоречивости. Это будет разница в рангах, наиболее противоположных для данной шкалы суждений в ответе респондента. Итак, средние ошибки, характеризующие противоречивость для рассматриваемых шкал, оказались равными Ошибка в 1,57 балла при пятибалльной оценке, видимо, слишком велика, чтобы считать шкалу приемлемой. Данный подход повышения надежности шкалы является весьма сложным. Поэтому его можно рекомендовать лишь при разработке ответственных тестов или методик, предназначенных для массового употребления или панельных исследований. Один метод — несколько исполнителей. Если метод надежен, то разные исполнители дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, либо результаты отдельных исполнителей нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо группу результатов заслуживающей большего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматриваемых методов (например, использо- вание самооценок против оценок). Анализ параллельных данных с помощью описанных ниже процедур позволит установить правильность такого предположения. Для количественных признаков при решении вопроса о согласованности оценок нескольких исполнителей предлагается выявить ошибки соответствия одним из приемов, рассмотренных при изучении устойчивости. Прежде всего, поскольку мы имеем здесь случай прямых групповых наблюдений, наиболее адекватной оценкой совпадения данных является средняя квадратическая ошибка. Тем же способом можно изучать совпадения оценок и самооценок. Если согласованность оценок со стороны «судей» и соответствующих самооценок респондентов будет достаточно высокой, это может означать, что методика достаточно обоснована. Во всяком случае, 146 одновременное использование оценок и самооценок дает возможность глубже понять сущность измеряемых признаков, уточнить их смысл. Несколько методов — несколько исполнителей. Одним из способов установления обоснованности измерения некоторого качества у одного и того же респондента (объекта) является фиксирование данного свойства разными исполнителями, владеющими разными методами. Как и в предыдущих случаях, здесь нельзя установить некую абсолютную обоснован- ность, поэтому рассматривается лишь обоснованность одного способа относительно другого. Использование параллельных методов измерения одного и того же свойства сталкивается с целым рядом трудностей. Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода. Во-вторых, если обнаруживается, что параллельные процедуры измеряют общее свойство (данные существенно не различаются), остается вопрос о теоретико-содержательном соответствии этих процедур. Нельзя не признать, что сам принцип использования параллельных процедур оказывается не формальным, а скорее содержательным принципом и решение остается за теоретико- методологической концепцией исследования. Метод судейства при обосновании процедур измерения. Один из широко распространенных подходов к установлению обоснованности — это использование так называемых судей, экспертов. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого явления, и просят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого явления. В качестве набора признаков могут выступить список отдельных суждений, характеристики явления и т. д. Процедуры судейства многообразны. В основе их могут лежать методы парных сравнений, ранжирования, последовательных интервалов и т.д. Вопрос о том, кого следует считать судьями, достаточно дискуссионен. Судьи, выбираемые в качестве представителей изучаемой совокупности, так или иначе должны представлять ее микромодель: по оценкам судей исследователь определяет, насколько адекватно будут истолко- ваны респондентами те или иные пункты опросной процедуры или другие, обращенные к респонденту, стимулы. Однако при отборе судей возникает трудноразрешимый вопрос, каково влияние собственных установок судей на их оценки, ведь эти установки могут существенно отличаться от установок обследуемых в отношении того же самого объекта. Ясно, что в каждом конкретном случае следует осуществлять контроль такого рода ошибок применительно к данной выборке судей. Так, используя мужчин и женщин в качестве судей для оценки различных занятий на досуге, нашли, что установки мужчин существенно отличаются от установок судей-женщин. Более того, оценка зависит от того, увлекается ли сам судящий данным видом досуга. В общем виде решение проблемы состоит в том, чтобы: а) внимательно проанализировать состав судей с точки зрения адекватности их жизненного опыта и признаков социального статуса соответствующим показателям обследуемой генеральной совокупности; б) выявить эффект индивидуальных отклонений в оценках судей относительно общего распределения оценок. Наконец, следует оценить не только качество, но и объем выборочной совокупности судей. С одной стороны, это количество определяется согласованностью: если согласованность мнений судей достаточно высока и, соответственно, ошибка измерения мала, численность судей может быть небольшой. Нужно задать значение допустимой ошибки и на основании ее рассчитать требуемый объем выборки. При обнаружении полной неопределенности объекта, т. е. в случае, когда мнения судей распределятся равномерно по всем категориям оценки, никакое увеличение объема выборки судей не спасет ситуацию и не выведет объект из состояния неопределенности. 147 Здесь возникает проблема точности (устойчивости) измерения. Рассмотрим с этой точки зрения принципиально разные варианты судейства: 1) производится классификация состояний объекта (сам объект имеет качественные градации); 2) находится количественная оценка изменяющихся состояний объекта, представляющих собой континуум. В первом случае при определении объема выборки судей необходимо задать некоторый уровень определенности в их мнениях, т. е. разброс распределения оценок должен быть не выше некоторого порогового значения. Во втором — задается уровень допустимой ошибки. Далее воз- никает вопрос о численности градаций в судейских оценках, что относится к чувствительности любой измерительной процедуры. В общем случае речь идет не о чем ином, как о чувствительности измерения, зависящего и от изменчивости объекта, и от устойчивости инструмента измерения. Основной способ определения дробности судейских оценок — выявление их устойчивости путем двух последовательных (с временным интервалом) судейств по единой процедуре. Эта операция уже рассматривалась выше в разделе об устойчивости. Если объект достаточно неопределенен, то большое число градаций только внесет дополнительные помехи в работу судей и не принесет более точной информации. Нужно выявить устойчивость судейских мнений с помощью повторной пробы и, соответственно, сузить число градаций. Выбор того или иного конкретного способа, метода или техники проверки на обоснованность зависит от многих обстоятельств. Прежде всего следует четко установить, возможны ли какие-то существенные отклонения от запланированного предмета измерения. Если программа исследования ставит жесткие рамки, следует использовать не один, а несколько приемов проверки данных на обоснованность, с тем чтобы четко определить границы достоверности заключения по гипотезе. Во-вторых, нужно иметь в виду, что уровни устойчивости и обоснованности данных тесно взаимосвязаны. Неустойчивая информация уже в силу недостаточной надежности по этому критерию не требует слишком строгой проверки на обоснованность. Следует обеспечить достаточную устойчивость и уже затем принять соответствующие меры для уточнения границ интерпретации данных (т. е. выявить уровень обоснованности). Выбор конкретной техники проверки данных на обоснованность — задача скорее содержательная, чем формальная. Многочисленные эксперименты по выявлению уровня надежности позволяют заключить, что в процессе отработки инструментов измерений со стороны их надежности целесообразна следующая последовательность основных этапов работы: а) Предварительный контроль обоснованности методов измерения первичных данных на стадии проб методики. Здесь проверяется, насколько информация отвечает своему назначению по существу и каковы пределы последующей интерпретации данных. Для этой цели достаточны небольшие выборки в 10—20 наблюдений с последующей корректировкой структуры методики. б) Второй этап — пилотаж методики и тщательная проверка устойчивости исходных данных, в особенности итоговых показателей индексов, многомерных шкал и т. п. На этом этапе нужна выборка не менее 100 человек, представляющая микромодель реальной совокупности об- следуемых с учетом представительства по существенным характеристикам объекта исследования. в) В период этого же общего пилотажа осуществляются все необходимые операции, относящиеся к проверке уровня обоснованности. Результаты анализа данных генерального пилотажа приводят к усовершенствованию методики, к доработке всех ее деталей и в итоге — к получению окончательного варианта методики для основного исследования. г) В начале основного исследования желательно провести проверку используемого варианта методики на устойчивость, с тем чтобы рассчитать точные показатели ее устойчивости. Последующее уточнение границ обоснованности проходит через весь анализ результатов самого исследования. Вне зависимости от использованного метода оценки надежности у исследователя имеется четыре последовательных шага по повышению надежности результатов измерений. Во-первых, в случае чрезвычайно низкой надежности измерений некоторые вопросы просто выбрасываются из анкеты, особенно когда степень надежности можно определить в 148 процессе разработки анкеты. Во-вторых, исследователь может «свернуть» шкалы и использовать меньше градаций. Скажем, шкала Лайкерта в этом случае может включать только следующие градации: «согласен», «не согласен», «не имею мнения». Обычно так поступают, когда пройден первый шаг и обследо- вание уже было проведено. В-третьих, как альтернатива второму варианту оценка надежности проводится на индивидуальной основе, т.е. осуществляется оценка надежности ответов отдельных экспертов (особенно если использовался метод повторного тестирования) двух групп. Ответы ненадежных респондентов просто не учитываются при проведении заключительного анализа. Данный подход может рассматриваться и как дополнение ко второму шагу. Наконец, после того как первые три шага были проведены,можнооценить уровень надежности измерений. Обычно надежность измерений характеризуется коэффициентом, изменяющимся от нуля до единицы, где единица характеризует максимальную надежность. Обычно считается, что минимально приемлемый уровень надежности характеризуют цифры 0,65—0,70, особенно если измерения проводились впервые. Очевидно, что в процессе проведения разными фирмами разнообразных и многочисленных маркетинговых исследований имела место последовательная адаптация шкал измерений и методик их проведения к целям и задачам конкретных маркетинговых исследований. Это облегчает решение задач, рассмотренных в данном разделе, и делает их применение скорее необходимым при проведении оригинальных маркетинговых исследований. Достоверность измерений характеризует совершенно другие аспекты, чем надежность измерений. Измерение может быть надежным, но не достоверным. Последнее характеризует точность измерений по отношению к тому, что существует в реальности. Например, респонденту задали вопрос о его годовом доходе, который составляет менее 25 000 долларов. Не желая называть интервьюеру истинную цифру, респондент указал доход «более 100 000 долларов». При повторном тестировании он снова назвал данную цифру, демонстрируя высокий уровень надежности измерений. Ложь не является единственной причиной низкого уровня достоверности измерений. Можно также назвать плохую память, плохое знание респондентом действительности и т.п. Главное направление проверки достоверности измерений заключается в получении информации из различных источников. Это может быть осуществлено различными методами, среди которых прежде всего следует отметить следующее. Надо стремиться составлять вопросы таким образом, чтобы их формулировки способствовали получению достоверных ответов. Далее, в анкету могут включаться вопросы, связанные друг с другом. Например, в анкету помещается вопрос о том, в какой степени респонденту нравится какой-то продукт питания определенной марки. И далее спрашивается, какое количество данного товара было куплено респондентом за последний месяц. Второй вопрос направлен на проверку достоверности ответа на первый вопрос. Часто для оценки достоверности измерений используется два различных метода или источников получения информации. Например, после письменного заполнения анкет ряду респондентов из первоначальной выборки дополнительно задаются те же вопросы по телефону. По схожести ответов судят о степени их достоверности. Иногда образуют на основе одних и тех же требований две выборки респондентов и для оценки степени достоверности сравнивают их ответы. 4.10.4. Составление анкет Главным инструментом реализации методов наблюдения и опроса являются анкета (вопросник) и механические устройства, например счетчики количества людей, кино- видиокамеры. Ниже будет чаше использоваться термин «вопросник», поскольку он носит более общий характер. Анкета применяется только при письменных ответах на поставленные вопросы. Вопросник — опросный лист для получения каких-то сведений. Он выполняет следующие 149 функции: 1. Переводит цели исследования в вопросы. 2. Стандартизирует вопросы и форму ответа на них. 3. Текст и последовательность вопросов способствуют кооперации интервьюера с респондентами, стимулирует получение ответов на все вопросы. 4. При автоматическом введении данных вопросника в компьютер ускоряется анализ результатов исследования. 5. Служит целям проверки надежности и достоверности оценок. Перечень данных функций подчеркивает важность уделения серьезного внимания составлению вопросников. Обычно этот процесс осуществляется с следующей последовательности: 1. Определение целей опроса. 2. Выбор методов сбора данных. 3. Разработка вопросов. 4. Оценка вопросов. 5. Одобрение со стороны клиента. 6. Тестирование. 7. Уточнение анкет. 8. Копирование анкет. 9. Сбор данных. 10. Табулирование и составление заключительного отчета. Определение целей опроса и выбор методов сбора данных были рассмотрены ранее. Ниже характеризуется процесс непосредственного составления вопросника. Этот процесс носит итеративный характер и направлен на последовательное уточнение вопросника, повышение веро- ятности получения достоверных ответов, исключение влияния содержания вопросов и их формата на получаемые ответы. Кроме того, заказчику данного опроса также должно быть дано право оценить содержание вопросника, может быть, заказчик должен поставить свою подпись на эк- земпляре анкеты перед ее копированием. Заказчик прежде всего оценивает вопросник с точки зрения целей проводимого обследования и полноты охваты исследуемой проблемы. Вопросник обычно состоит из трех частей: введения, реквизитной части и основной части. Главная задача введения — убедить респондента принять участие в опросе. Оно должно содержать цель проводимого опроса и должно показать, какую пользу получит респондент, приняв участие в опросе. Кроме того, из введения должно быть понятно, кто проводит данный опрос и сколько потребуется времени для ответа на поставленные вопросы. Если опрос проводится по почте, введение может быть написано в виде сопроводительного письма. В реквизитной части приводится информация, касающаяся респондентов: возраст, пол, принадлежность к определенному классу, род занятий, семейное положение, имя и адрес — для частных лиц; для организаций: размер, местоположение, направление производственно- хозяйственной деятельности, положение респондента в организации, его имя. Кроме того, необходимо идентифицировать сам вопросник, т.е. дать ему название, указать дату, время и место проведения опроса, фамилию интервьюера. При разработке основной части вопросника следует обратить внимание на: тип вопросов (формат ответов), содержание вопросов и их число, последовательность представления вопросов в анкете, наличие контрольных вопросов. Существуют три основных формата задаваемых вопросов: открытые вопросы, закрытые вопросы и вопросы со шкалой ответов. Открытый вопрос — вопрос анкеты, с помощью которой собирается первичная маркетинговая информация; он позволяет опрашиваемому на вопрос отвечать своими словами, что дает ему возможность чувствовать себя при ответе на вопрос достаточно свободно, приводить примеры, иллюстрации. Открытые вопросы часто приводятся в начале анкеты для «разминки» респондентов. Примером открытого вопроса является вопрос: «Что вы думаете о..?» В таких вопросах отсутствует предвзятость, стремление навязать определенный ответ. Однако ответы на открытые вопросы требуют достаточно больших затрат времени. Кроме того, полученные ответы могут быть интерпретированы по-разному. Закрытый вопрос — вопрос анкеты, с помощью которой собирается первичная маркетинговая информация; он включает все возможные варианты ответов, из которых опрашиваемый делает свой выбор. Существует два варианта таких вопросов: 1.Дихотомический, 150 типа: «Имеете ли вы счет в банке?» В данном случае имеется только два варианта ответа: да, нет. 2. Многовариантного выбора, типа: «Где вы храните свои сбережения?» со следующими, скажем, вариантами ответов: — в банке — в страховой компании — в строительной компании — дома, из которых респондент может выбрать один или несколько ответов. Использование данного типа вопросов активизирует деятельность респондентов по заполнению анкет, облегчает процесс ввода полученных данных. Недостатками вопросов с многовариантным выбором являются: 1. Трудности формулирования всех возможных вариантов ответов, характеристик или факторов. 2. Трудности, обусловленные необходимостью использовать общепринятую терминологию, что необходимо для того, чтобы все респонденты одинаково понимали заданные вопросы. 3. Трудность измерения относительной важности отдельных альтернатив, характеристик или факторов. Относительная важность или «веса» могут определяться как в качественной шкале (например, от «не имеет значения» до «имеет очень большое значение»), так и в количественной шкале (например, В долях 100-балльной шкалы). Трудности, обусловленные разработкой анкет с многовариантными ответами, обычно преодолеваются следующим образом: 1. Организуется дискуссия в малой группе (до 8—10 человек) по поводу набора вопросов, факторов, терминологии и др. 2. Проводится интервью с потенциальным респондентом, в результате которого уточняются вопросы, характеристики, факторы и терминология. Вопросы со шкалой ответов, предполагающие проведение измерений изучаемых свойств и параметров, были рассмотрены в разделе об измерениях. Рассмотрим факторы, которые следует учитывать при выборе формата вопросов. При выборе формата вопросов целесообразно учитывать: 1) природу измеряемого свойства; 2) результаты предыдущих исследований; 3) метод сбора данных; 4) желаемый уровень шкалы измерений; 5) способности респондентов. Природа измеряемого свойства учитывается при определении, нужен ли ответ типа «да», «нет», «не помню» (вопрос: «Покупали ли вы в течение последнего месяца сигареты "Мальборо"?») или нужен шкалированный ответ на вопрос типа: «Вам нравятся сигареты "Мальборо"?» В ряде случаев исследование основано на результатах, полученных ранее. В этом случае используется ранее применявшийся вопросник. В любом случае целесообразно использовать ранее апробированные форматы вопросов, чем изобретать новые. Что касается метода сбора данных, то очевидно, что, скажем, телефонное интервью предполагает использование относительно простых вопросников по сравнению с опросами, проводимыми по почте. С позиций получения конечных результатов исследования может быть достаточным использование шкалы наименований; в ряде случаев необходимо ранжирование измеряемых свойств, а может быть, проведение статистического анализа, для чего потребуется использование шкалы интервалов или шкалы отношений. Необходимость учета способностей респондентов при выборе формата вопросов подтверждают следующие примеры. Предположим, исследователь чувствует, что один из респондентов плохо умеет излагать свои мысли, неохотно излагает их на бумаге. Вряд ли целесообразно в данном случае использовать открытые вопросы. Зачастую анкеты содержат вопросы всех трех форматов. В этом случае желательно каждый вопрос оценить с позиций вышеизложенных требований. Содержание вопросов определяется тем, что мы желаем узнать в результате ответов на поставленные вопросы. Данная задача облегчается, если мы имеем ясно очерченную гипотезу, которую собираемся испытать, или имеем простую модель, облегчающую наше понимание 151 исследуемой ситуации. Определяя содержание вопросов, необходимо учесть следующие обстоятельства. Вопрос должен быть сфокусирован на единственной проблеме или теме. Например, не рекомендуется задавать вопросы типа: «В каком отеле вы обычно останавливаетесь, когда вы осуществляете поездки?» Сфокусированный вопрос в данном случае звучит как: «Когда вы находитесь с семьей на отдыхе и останавливаетесь в отеле в месте отдыха, какой тип отеля вы обычно используете?» Вопрос должен быть кратким. Следует избегать неопределенности и многословности формулировок, особенно когда вопросы излагаются устно. Сложные, длинные вопросы рассредоточивают внимание респондентов на отдельных частях вопроса, и вместо ответа на весь вопрос он может дать ответ только на одну его часть. Все респонденты должны понимать заданный вопрос одинаковым образом и отвечать на один и тот же вопрос, а не на свои варианты его домысливания. Для этого следует использовать четкую терминологию и очень конкретно формулировать вопросы. Надо избегать формулирования в одном предложении двух вопросов. Например, «Вы знаете, что фирма «Намбо» продает электронные игрушки и является единственным их продавцом в нашем регионе?» Данный вопрос следует разбить на два вопроса. Следует использовать повседневный язык респондентов, термины, понятные каждому потенциальному респонденту, исключая жаргон. Кроме того, следует помнить, что если даже респондент готов и желает ответить на вопросы, он может испытывать при этом определенные проблемы. Ответы на ряд вопросов предполагают выработку определенных оценок, а следовательно, использование неких критериев. Однако иногда такие критерии не являются очевидными, и поэтому респондент может использовать другие критерии, нежели предполагал исследователь. Вопрос не должен выходить за рамки опыта респондентов. Наверное, бессмысленно спрашивать подростков о том, какой тип семейного автомобиля они приобретут, когда женятся. Если вопрос касается прошлого, помните, что далеко не все обладают хорошей памятью. Например, далеко не все помнят, что они купили еще вчера. Если вопросы касаются будущего, то следует помнить, что человек часто меняет свое мнение в зависимости от обстоятельств. Так, результаты будущих выборов зачастую определяются не голосами тех, кто четко сделал свой выбор в пользу той или иной партии, а скорее всего теми, кто изменит свое мнение. Следует относиться очень внимательно к включению в вопрос каких-то примеров, поскольку респондент может сосредоточить свое внимание только на них. Например, вопрос: «Можете ли вы вспомнить какую-нибудь рекламу «Панасоник», распространенную в течение последней недели, скажем, в виде вкладыша в вашей газете?» — может сосредоточить внимание респондента только на рекламе в газетных вкладышах. Не следует склонять респондента делать обобщения, выходящие за рамки его опыта. Например, вопрос: «Беспокоитесь ли вы о свежести молока, покупая молоко в магазине?» понуждает респондента отвечать утвердительно, выходить за рамки его личного опыта. Более правильно по данной проблеме задать следующий вопрос: «Сколько раз во время пяти последних покупок молока вы беспокоились о его свежести?» Вопросы следует формулировать в нейтральной тональности, без некоей положительной или отрицательной оценки рассматриваемой проблемы. Например, на вопрос: «Сколько бы вы заплатили за солнцезащитные очки, предохраняющие ваши глаза от вредных ультрафиолетовых лучей, приводящих к потере зрения?» респондент скорее будет отвечать, сколько он заплатил бы за что-то, что предохранит его от потери зрения. Более правильной является следующая формулировка: «Сколько бы вы заплатили за солнцезащитные очки, предохраняющие глаза от ультрафиолета?» Формулировка вопроса не должна склонять респондента к ответу, желаемому для исследователя. Например, при проведении опроса относительно воздушных мешков для автомобиля был задан вопрос: «Не будете ли вы беспокоиться о безопасности автомобиля до тех пор, пока воздушные мешки не станут элементом его стандартного оборудования?» Формулировка данного вопроса предполагает положительный ответ. Более корректной является следующая формулировка: «Должны ли производители автомобилей включать воздушные мешки в стандартное оборудование автомобиля?» 152 Нельзя в закрытом вопросе излагать неполный перечень возможных ответов, один из которых для большинства респондентов заведомо является неприемлемым. Так, незадолго до прекращения войны в Чечне одна социологическая служба провела опрос. На вопрос: «Что вы предпочитаете: 1. Мир в Чечне; 2. Отделение Чечни от России?», разумеется, большинство респондентов выбрало первый вариант ответа. Но здесь существуют и другие варианты ответов, например: «За мир в Чечне и ее вхождение в состав России». Надо противостоять «синдрому жадности» и не ставить лишних вопросов, без которых можно обойтись. В то же время переупрощение проблемы, постановка ограниченного числа вопросов дает возможность интерпретировать полученные результаты в желаемом направлении. Особенно этим грешат социологические опросы по политическим проблемам. Так, в начале апреля 1997 г. при проведении опроса по выяснению мнения относительно объединения России с Белоруссией одна ведущая телевизионная компания данную сложную проблему свела к ответам на два вопроса, главным из которых был: «Как изменится ваше экономическое положение после воссоединения с Белоруссией?» Неясно, о каком периоде времени идет разговор: о годе, двух и более годах. Опрос был проведен среди жителей Москвы (об этом в конце передачи было вскользь сказано). Очевидно, что полученные данные на всю Россию обобщены быть не могут. Далее, для получения объективной оценки данной проблемы необходимо учесть также политические, военные, нравственные и другие факторы как в текущей, так и в стратегической перспективе. Постоянно задавайте себе вопрос: «Имеет ли респондент данные, необходимые для ответа на поставленные вопросы?» При определении числа вопросов следует руководствоваться тезисом: чем их меньше, тем больше шансов получить на них ответы. Желательно, чтобы вопросы излагались в определенной логической последовательности. Вначале следует задать вопросы, с помощью которых можно определить уровень компетентности респондентов в области проводимого исследования. Например, если проводится исследование мнения потребителей относительно определенных добавок к тесту, то прежде всего следует поинтересоваться, занимается ли опрашиваемая домашней выпечкой. Следующие вопросы служат целям «разминки» респондентов. Эти вопросы являются относительно простыми, легкими для ответов; они должны заинтересовать опрашиваемых, показать им, что они легко справятся с ответами. Например, «Пекли ли вы что-либо дома в течение последнего месяца?» За разминочными вопросами следуют переходные вопросы, предшествующие серии основных вопросов. Переходные вопросы служат целям определения, какие вопросы следует задать далее. Например, «Когда вы готовите тесто для пирога, используете ли вы обычную посуду или специальную емкость для приготовления теста?» Если ответ заключается в использовании обычной посуды, то рекомендуется пропустить вопросы, рассматривающие более детально использование специальных емкостей. Наиболее трудные вопросы, требующие для ответа использования специальных шкал и достаточных затрат умственных усилий, рекомендуется ставить в середине или ближе к концу анкеты. Обычно респондент, если дошел до данной части вопросника, как правило, отвечает и на оставшиеся вопросы. Опытные интервьюеры при проведении устного опроса в этом месте обычно говорят, что интервью вступило в завершающую стадию. В конце вопросника приводятся классификационные вопросы, постановка которых в его начале, вследствие их персонального характера, может вызвать у респондента желание прекратить ответы на вопросы. Сюда относятся демографические вопросы о возрасте, образовании, на- циональности, уровне дохода и т.п. Вопросы, носящие чрезмерно личностный характер («Чистите ли вы зубы каждый день?» «Часто ли вы на своем автомобиле превышаете допустимую скорость?»), обычно помещаются среди «безвинных» вопросов. Выше рассмотренное носит характер общих рекомендаций. Однако существует по крайней мере два специальных подхода к проектированию вопросников: туннельный и секционный. При использовании туннельного подхода имеет место постепенный переход от широких, общих вопросов к узким, частным вопросам. Общие вопросы служат целям «разминки», а также, если это требуется, могут носить переходной характер. Секционный подход заключается в том, что последовательно рассматриваются вопросы по 153 отдельным темам, до их полного исчерпания. Переход к следующей теме часто начинается с некоторой вступительной фразы. На практике зачастую используется комбинация рассмотренных подходов. Финальной стадией разработки вопросника является кодирование вопросов с целью облегчения задачи ввода данных в компьютер после их сбора. Обычно используются числовые коды, характеризующие разные варианты ответов. За последнее время разработаны специальные компьютерные программы, которые осуществляют кодирование вопросов в вопроснике. Необходимы выявление и устранение недостатков вопросника до начала его широкого использования, т.е. осуществление предварительного тестирования вопросника. Вначале возможно привлечение для этого своих коллег или товарищей, которые могут глубоко не разбираться в сути проводимого исследования, но которые помогут выявить главные огрехи вопросника. Затем с целью проверки реакции на проводимое исследование, используемые терминологию и последовательность задаваемых вопросов, содержание инструкции по заполнению анкеты и т.п. можно апробировать анкету на единичных респондентах. В завершение процесса проверки целесообразно провести пилотное испытание анкеты на малом числе респондентов (пять-десять человек). При этом используются те же процедуры отбора респондентов и их опроса, которые предполагается использовать при проведении полномасштабного анкетирования. На данном этапе разработки вопросника также требуется определить, не является ли он слишком длинным и утомительным. Примерная продолжительность ответов должна составлять: при проведении интервью на улице — не более 3-х минут; дома без вознаграждения — не более 5 минут; дома с вознаграждением — не более 15 минут. Здесь требуется также уточнить, уложится ли опрос в рамки запланированного бюджета. Важным вопросом проектирования вопросника является составление сопроводительного письма, объясняющего цели проводимого обследования и содержание анкеты. Сопроводительное письмо должно быть ориентировано на конкретную группу респондентов. В случае, если опрос проводит специализированная компания, то в нем часто отмечается, что компания, проводящая обследование, ничего не продает, а только занимается законными исследованиями. Далее указывается заказчик данного исследования, хотя это может и не делаться: выбор зависит от желания самого заказчика. Из сопроводительного письма потенциальные респонденты должны понять, как и почему они были выбраны в качестве респондентов. Акцент делается на пояснение, что респонденты были выбраны случайным образом, а не на основе целевого поиска. Например, что только 1000 имен были выбраны случайным образом из общего списка зарегистрированных агентов, занимающихся продажей недвижимости. В этом письме должна содержаться просьба к потенциальным респондентам принять участие в опросе. Слова и тон письма должны быть такими, чтобы респондент испытывал чувство удовлетворения от того, что выбор пал на него. Например, «Ваши ответы отражают мнение тысяч других, не выбранных для участия в опросе...» Зачастую первые услышанные или прочитанные слова определяют, примет ли участие респондент в проводимом опросе. Опрос может носить анонимный и конфиденциальный характер. В первом случае респондент должен быть уверен, что ни его имя, ни другие реквизиты не будут известны исследователям. Во втором случае предполагается, что имя респондента известно только исследователю, но отнюдь не заказчику данного обследования. В телефонном опросе и при опросах, связанных с присутствием интервьюеров, опрос носит только конфиденциальный характер. Следующий шаг после утверждения вопросника и определения вида опроса — инструктаж интервьюеров, которые должны строго придерживаться вопросов анкеты и принятых процедур проведения опроса. Опрос, если он не проводится специализированными консультационными организациями, осуществляется силами сотрудников данной организации, в первую очередь сотрудниками маркетинговых и сбытовых служб, которые могут не обладать соответствующей квалификацией в области проведения подобных исследований. Поэтому необходимо организовать их обучение. В 154 процессе такого обучения следует обратить внимание на следующее: задавать вопросы надо легко и непринужденно; задавать вопросы точно в том виде, в котором они написаны; аккуратно регистрировать ответы в требуемой форме. В целях обучения рекомендуется проведение пробных опросов среди других интервьюеров или сотрудников организации. Дополнительным положительным аспектом участия в проведении маркетинговых исследований в качестве интервьюеров является возможность более глубоко разобраться в исследуемых проблемах, рынках, потребителях. Ниже приводится в качестве примера анкета, использованная при проведении маркетинговых исследований рынка холодильников [11]. Один из российских производителей холодильников хочет лучше узнать покупателей своей продукции. На основе результатов этого исследования будут изменены некоторые характеристики продукции и условия обслуживания для лучшего удовлетворения желаний покупателей. |