Руководство по подготовке статистических данных об использовании времени для оценки оплачиваемого и неоплачиваемого труда
 Скачать 7.71 Mb.
|
|
2. Некоторые процедуры оценки качества а) Виды методов оценки качества данных 689. Можно выделить два общих вида методов оценки качества данных: методы удостоверения и исследования источников ошибок (Statistics Canada, 1998 b, p. 50, paras. 3–4). 690. Удостоверение или проверка — это процесс изучения данных обсле- дования до их официального обнародования для недопущения обнародования абсолютно неверных данных или для определения низкокачественных данных. Методы удостоверения зачастую используются в сочетании с интерпретатив- ным анализом данных. На удостоверение обычно отводится ограниченный пе- риод времени; таким образом, приходится использовать для этого оперативные методы. Стандартные методы проверки включают расчет и рассмотрение пока- зателей качества данных и как внутренние, так и внешние проверки согласован- ности данных. Кроме того, итоговое совещание с персоналом, привлекавшимся к сбору и обработке данных, в частности к редактированию и кодированию данных обследования, могут привести к выявлению тех действий в ходе сбора и обработки данных, которые привели к возникновению ошибок в них. Эти стан- дартные методы могут дополняться проверками «разумности» результатов об- следования, проводимыми квалифицированными экспертами в этой области; однако в некоторых странах такие субъективные оценки экспертами могут ока- заться главным или наиболее оптимальным методом первоначального и опера- тивного рассмотрения результатов обследования использования времени. 691. Источники исследований ошибок предназначены для предостав- ления количественных данных о конкретных источниках ошибок в данных. В предыдущем разделе речь идет о том, что совокупность ошибок в обследо- вании разбивается на ошибки выборки и ошибки регистрации, и на конкрет- ные исследования, предназначенные для оценки величины составных ошибок — например, контрольные проверки для оценки ошибок вследствие неполного охвата; интенсивные последующие исследования для оценки отклонения, свя- занного с отсутствием ответов; а также последующие опросы для оценки откло- нения в ответах, колебаний в ответах и кодировочных колебаний. Эти исследо- вания особенно полезны с точки зрения повышения качества оценок в рамках обследований и последующего планирования и осуществления обследования. Статистическим организациям следует принимать решения о масштабах про- водимых исследований, исходя из бюджета и сроков, особенностей использо- вания данных и опасности возникновения ошибок или отклонений. Поскольку результаты этих исследований, как правило, являются сложными, они зачастую обнародуются лишь после официального опубликования данных. b) Оценка качества данных об использовании времени 692. Стандартные показатели качества данных обследования были опре- делены и прокомментированы в предыдущем разделе; они включают показатели охвата, долю респондентов, редакционный и условный коэффициенты, а также показатели ошибки выборки. В процессе оценки качества данных обследования использования времени эти показатели следует рассчитать и интерпретировать с точки зрения их влияния на использование оценочных показателей обследо- Изучение качества данных об использовании времени 197 вания. Например, в ходе обследования использования времени, предназначен- ного для оценки детского труда посредством сбора информации из дневников детей, могут появиться значительные ошибки, связанные с отсутствием ответов и/или дачей ответов. Возможно, дети не смогут представить данные для обсле- дования, что приведет к недооценке их рабочей деятельности. 693. Помимо этих стандартных показателей, имеются определенные по- казатели качества, связанные непосредственно с данными, собранными в ходе обследования использования времени с помощью дневников. Имеются пять та- ких показателей: число видов деятельности или эпизодов/событий, о которых было со- • общено; виды деятельности, о которых было сообщено; • число одновременно выполняемых/второстепенных видов деятель- • ности, о которых было сообщено; число учтенных интервалов времени; • число округленных временных величин. • 694. Что касается истолкования этих показателей, то Юстером (1985, р. 66) сформулировано практическое правило: «При прочных равных усло- виях, как представляется, разумно предположить, что в дневнике, внушающем меньше доверия, респондентом будет указано меньшее число действий, более узкий круг действий, меньше второстепенных действий, чаще будет встре- чаться указание на то, что о том или ином периоде ничего неизвестно и чаще будет сообщаться о том, что оно начато через час или полчаса». Юстер обосно- вывает это утверждение, отмечая, что оценка качества с помощью этих величин усложняется другими соображениями, не связанными с качеством, как, напри- мер, социодемографические характеристики респондентов и различные виды воздействия поведенческого и ситуационного характера. 695. Число и виды действий, о которых было сообщено, число второсте- пенных видов деятельности, о которых было сообщено, и число временных ин- тервалов деятельности — это показатели того, насколько подробным является дневник. Чем больше деталей, тем лучше информация. Для оценки качества обследования из всех дневников выводятся средние величины, которые сопос- тавляются с известными результатами аналогичных обследований. В случае со средним числом занятий в день, равным 20, — это минимальный уровень сооб- щения информации. Что касается второстепенной деятельности, то основное внимание уделяется возможным признакам нехватки информации о тех видах деятельности, которые, как правило, упускаются из виду или являются слиш- ком распространенными. Число учитываемых временных интервалов и доля видов деятельности, о которых сообщается, что они начинают выполняться че- рез часовой или получасовой промежуток времени — это показатели точности сообщаемых сведений: чем ниже величины, тем меньше точность. с) Проверки на предмет единообразия 696. Таблицы обычно рассматриваются с точки зрения внутреннего еди- нообразия и точности данных. Обычные проверки включают обеспечение того, чтобы данные в отдельных строках или столбцах соответствовали промежуточ- ным или общим итогам, чтобы показатели четко рассчитывались и чтобы одна и та же позиция выглядела одинаково в каждой таблице. 697. Что касается данных об использовании времени, то эксперты при- шли к единодушному заключению, что при ежедневной регистрации исполь- зования времени время, потраченное на ту или иную деятельность, должно в ´ ´ ´ 198 Руководство по подготовке статистических данных об использовании времени общей сложности составлять 1440 минут в день. Это означает, что в случае с 24-часовым дневником инструмент обследования должен быть таким, чтобы учитывались все действия за сутки. Таким образом, когда в таблицах рассчиты- ваются общие или средние величины за день, общая проверка на единообразие должна подтвердить, что общее время, затраченное на ту или иную деятель- ность, равно 1440 минутам в день, или 168 часам в неделю. Таблицы, где име- ются отклонения, следует пересмотреть с тем, чтобы найти их причины и, где это возможно, внести исправления. Сообщаемое за день среднее число часов может превышать 24, как правило, в том случае, если было сообщено, что за один промежуток времени производилось несколько видов деятельности; эти виды деятельности затем могут кодироваться отдельно и некоторые периоды времени будут учтены дважды. d) Сопоставления, основанные на известных моделях и ранее сделанных выводах 698. Еще один способ оценить правильность данных может заключаться в том, чтобы проверить результаты, сопоставив их с определенными прогнози- руемыми моделями использования времени. Например, пропуск определенных видов деятельности может привести к неожиданным моделям такой деятель- ности, как еда и уход за собой. Аналогичным образом, учет часто выполняемых видов деятельности может осуществляться на основе таблиц, где указывается минимальное время, затрачиваемое на уход за детьми или на их воспитание. В этих случаях может возникнуть необходимость в пересмотре результатов коди- рования отдельных дневников. Кроме того, известно, что женщины и мужчины затрачивают разное время на конкретные виды деятельности, такие, например, как уход за детьми, работа по дому и оплачиваемая работа; в тех случаях, когда фиксируются одновременно выполняемые виды деятельности, имеется опреде- ленная их комбинация, которая, как предполагается, должна встречаться отно- сительно часто. Таблицы, основанные на данных обследования, могут оцени- ваться на основе таких прогнозируемых моделей, а отмеченные отклонения от таких моделей могут свидетельствовать о необходимости в пересмотре и опре- делении причин. 699. Когда результаты текущего обследования сопоставляются с имею- щимися данными другого обследования, данные, отбираемые для сопоставле- ния, должны как можно полнее основываться на сопоставимых контингентах. Данные о видах деятельности могут сопоставляться в разбивке по полу, дням недели, месту нахождения или другим характеристикам. Сопоставляться могут такие показатели, как средний промежуток времени, затрачиваемый на ту или иную деятельность населением и участниками; а также коэффициенты участия или доля контингента, осуществляющего ту или иную деятельность. Следует отметить, что не все категории видов деятельности сопоставимы в силу разли- чий в методологии или изменений в используемых классификационных кодах. е) Сопоставимость с течением времени 700. Еще одна процедура оценки качества предусматривает оценку еди- нообразия моделей использования времени, разработанных путем сопоставле- ния данных обследования с результатами аналогичных исследований за преды- дущий базовый период. 701. Такая процедура могла бы предусматривать сопоставление сред- них промежутков времени, приходящихся на долю основных категорий видов деятельности, в разбивке по полу, возрастным группам, дням недели и другим соответствующим аналитическим переменным. Средний период времени для Изучение качества данных об использовании времени 199 всего населения, средний период времени для участников и коэффициент учас- тия — это три величины, которые могут быть подвергнуты сопоставлению. 702. Производя необходимые сопоставления, следует учитывать влия- ние различий в методологии, охвате, концепциях и определениях, а также клас- сификациях. Например, при сопоставлении моделей использования времени для двух периодов времени о проблемах с данными могут свидетельствовать необъяснимые расхождения в моделях использования времени между двумя периодами. Если изменение в методологии затрагивает сопоставимость данных различных периодов времени, по мере возможности, следует производить ко- личественную оценку этих последствий. f) Сопоставимость с другими источниками данных 703. Другой способ оценить качество данных — это сопоставить резуль- таты обследования с имеющимися (внешними) знаниями, связанными с дру- гими исследованиями в области использования времени, касающимися соот- ветствующей страны, включая обследования других стран, условия в которых аналогичны условиям в данной стране. Например, выше речь уже шла о том, что основной показатель качества использования данных — это среднее число эпизодов, сообщаемых из расчета на одного респондента. Эта величина может быть рассчитана для различных подгрупп, например, для групп по признакам пола и возраста, и затем сопоставляться с результатами прошлых исследова- ний. Если среднее число эпизодов (в совокупности и для подгрупп) обследо- вания относительно меньше известных результатов, которые считаются при- емлемой базой для сопоставления, прежде всего следует попытаться выяснить, имеются ли обоснования этого различия, основанные на различиях в структуре обследования и охвате населения. Различия, которые нельзя объяснить этими факторами, будут в таком случае указывать на относительное качество данных. Тем же самым образом можно оценить и другие качественные показатели, речь о которых шла выше. g) Заключение экспертов 704. Если из-за нехватки времени, средств или технических проблем не- возможно осуществить интенсивные оценки качества данных или сформулиро- вать количественные показатели ошибок, вероятно, следует оценить качество данных обследования использования времени на основе заключений экспертов или субъективного анализа. Статистическое учреждение и эксперты по вопро- сам использования времени могут вместе произвести такую оценку и подгото- вить заключение о качестве данных на основе такого обсуждения. В. ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ОЦЕНКИ КАЧЕСТВА ДАННЫХ 705. Количественные показатели и качественные оценки по итогам рас- смотрения качества данных можно использовать для корректировки оценочных показателей обследования, для помощи пользователям в анализе и истолковании данных обследования и для повышения качества последующих обследований. 706. Своевременность в получении результатов оценки качества данных играет важную роль, как и своевременность получения самих данных. В идеале результаты оценки качества данных должны быть такого качества и настолько своевременно представлены, чтобы их можно было использовать для повыше- ния качества данных до их обнародования; например, результаты оценки охвата можно использовать для того, чтобы компенсировать различия в сфере охвата 200 Руководство по подготовке статистических данных об использовании времени между рамками и целевым контингентом. Когда это невозможно, результаты оценки должны представляться по меньшей мере достаточно своевременно для того, чтобы помочь пользователям в анализе данных, а персоналу, ответс- твенному за разработку структуры обследования, — в усовершенствовании тех аспектов обследования, которые, как было установлено, являются основными источниками ошибок (Statistics Canada, 1998 b, p. 50, para. 7). 1. Корректировка результатов обследования 707. Часто возникает вопрос о том, следует ли корректировать резуль- таты обследования для того, чтобы исправлять очевидные ошибки. Выше и в главе IX уже шла речь о том, что можно существенно уменьшить величину отклонения, вызванного сферой охвата, и ошибок вследствие отсутствия от- ветов, скорректировав оценочные данные с использованием соответствующих корректировочных факторов. Например, иногда корректировочные факторы для отклонения вследствие отсутствия ответа могут разрабатываться на основе исследований повторных интервью или проверки документации. Теоретически эти факторы могут применяться в отношении результатов исходного обследо- вания для сокращения очевидных отклонений. 708. В тех случаях, когда оценочные показатели обследования настолько неточны, что вводят в заблуждение, тем более рекомендуется внести поправки, как и в ситуациях, когда различия не так велики. Исследования оценочных дан- ных зачастую основаны на малых выборках из-за величины затрат и могут вы- зывать существенные ошибки в выборках, а также другие проблемы, связанные, например, с концептуальными трудностями и трудностями в согласовании ис- следований правильности и надежности данных (Организация Объединенных Наций, 1986 год, пункт 8.33). 709. Альтернативой применению корректировочных факторов для об- следования оценочных данных, считающихся ненадежными, является изъятие определенной информации с разъяснением причин ее исключения. Другая процедура заключается в том, чтобы не корректировать оценочные данные об- следования, а изложить как можно больше информации в технических прило- жениях к изданиям о предполагаемых масштабах различных видов ошибок на основе изучения результатов обзора данных. 710. В главе VIII отмечается, что ошибки, которые нельзя устранить с помощью другой информации по вопросникам, можно рассматривать в со- ответствии с двумя различными вариантами: один подход заключается в том, чтобы оставить ошибки, для чего обычно необходимо предусмотреть в табли- цах категории «не известно»; другой подход заключается в том, чтобы «условно рассчитать» показатели, чтобы заменить ими ошибочные или отсутствующие данные. В тех случаях, когда нельзя полностью объяснить серьезные ошибки, отмеченные в ходе внутренних или внешних проверок, следует дополнительно рассмотреть процедуры обследования. Можно расследовать вероятность воз- никновения сбоев в компьютерных программах или других параметрах для та- булирования или даже появление некоторых устойчивых ошибок, связанных с кодированием или другими выполняемыми вручную операциями (см. также главу VIII). Иногда даже возникает возможность выявить многократную и под- дающуюся корректировке ошибку, сделанную интервьюером. При обнаружении операционных ошибок их следует по возможности полностью устранить, даже если это требует определенной задержки в опубликовании данных. Можно вы- пустить предварительные издания, исключив те части, которые должны быть исправлены. Если очевидных ошибок не обнаружено, следует, скорее всего, Изучение качества данных об использовании времени 201 опубликовать первоначальные данные и включить в текст докладов определен- ные оговорки, касающихся необычных моделей. 2. Принципы анализа 711. Результаты оценки важны с точки зрения того, чтобы проинструк- тировать аналитиков относительно истолкования данных обследования и про- консультировать и, возможно, предостеречь других относительно использова- ния статистических данных. Как правило, выступив с инициативой по оценке результатов своего обследования, статистическое учреждение может зачастую предотвратить необоснованные критические замечания со стороны внешних сторон, которые не удовлетворены результатами обследования. 712. Информация о позиционных ошибках может повлиять на различ- ные решения об издании. Если, например, ошибок особенно много в той или иной конкретной позиции, эта позиция может быть исключена из публика- ции, причем такое решение будет разъяснено в соответствующем примечании. (Примечание: другое основание для исключения, а именно контроль над обна- родованием информации, будет рассмотрено в главе XII.) В тех случаях, когда используется вменение значений, масштабы экстраполирования также можно указать с помощью пояснительных примечаний в статистических таблицах. 713. Пользователям следует предоставить информацию об ошибках в выборках (стандартная ошибка, относительная стандартная ошибка, коэф- фициент вариации). Во-первых, это можно сделать, не включая все величины ошибок выборки в таблицы, посредством указания в публикации на такие оце- ночные данные, для которых стандартные ошибки относительно велики, и ис- ключив те оценочные данные, стандартные ошибки в которых значительно пре- вышают допустимый уровень. Например, оценочные данные с относительными стандартными ошибками за пределами диапазона, считающиеся относительно надежными для большинства целей, могут быть включены в издание в сопро- вождении примечания, предупреждающего пользователей о том, что оценоч- ные данные имеют высокие относительные стандартные ошибки (например, от 25 до 50 процентов). Оценочные данные с относительными стандартными ошибками, считающимися чрезмерно высокими (например, 50 процентов или выше), могут быть исключены из публикуемых материалов, но предоставляться в ответ на соответствующий запрос. 714. В качестве стандартной практики рекомендуется выпускать «заяв- ление о качестве», касающееся статистического обследования. Такое заявление включает данные о показателях качества и результатах оценки. Пример подоб- ного заявления приведен в приложении 17. |