Руководство по подготовке статистических данных об использовании времени для оценки оплачиваемого и неоплачиваемого труда
 Скачать 7.71 Mb.
|
|
Часть четвертая Изучение и распространение данных об использовании времени 189 Изучение качества данных об использовании времени 665. Процесс оценки качества данных предусматривает оценку оконча- тельных результатов проведенного обследования с точки зрения точности и на- дежности, а также общей применимости данных, с учетом целей обследования. Если результаты этого изучения будут надлежащим образом обнародованы, у пользователей появится возможность более обоснованно интерпретировать результаты обследования. Результаты оценки качества данных также служат подспорьем для статистического учреждения по ряду направлений. В той сте- пени, насколько ошибки могут быть выявлены на конкретных этапах процесса проведения обследования, данные оценки можно использовать для повышения качества следующего обследования использования времени, а также других аналогичных обследований. В качестве стандартной статистической практики рекомендуется готовить заявления, касающиеся качества данных, полученных по итогам статистического обследования. С учетом всего комплекса факторов, влияющих на качество данных об использовании времени, такие заявления особенно полезны для национального обследования использования времени. 666. Значительную часть информации, необходимой для оценки качес- тва данных, приходится собирать в процессе проведения обследования; таким образом, важно включить планирование обзора в состав общего процесса пла- нирования проведения обследования. При планировании обзора важно рас- смотреть потребности пользователей в оценке той степени, насколько ошибки в данных ограничивают использование этих данных и признать, что оценить точ- ность полученных данных могут далеко не все пользователи. С одной стороны, статистическое учреждение должно взять на себя ответственность за проведе- ние оценки качества данных, необходимой для измерения и оценки ошибок в данных обследования, а также для ознакомления с результатами проведения этой оценки пользователей своевременно и в удобной для понимания форме. С другой стороны, все те, кто пользуется результатами, связаны ли они со ста- тистическим учреждением или нет, должны принимать участие в определении целей программы обзора и, по возможности, в самом процессе оценки. 667. При наличии широкого круга потенциальных источников ошибок в обследованиях и соответствующего влияния на данные и оценки обследова- ния, как правило, нецелесообразно разрабатывать всеобъемлющий свод пока- зателей качества данных. Вместо этого изучение качества данных должно быть направлено на определение важнейших источников возникновения ошибок и разработку количественных показателей, где это возможно, или, в противном случае, качественных описаний. Это должно привести к сбалансированному и обстоятельному обсуждению конкретных источников ошибок и погрешностей. Те, кто руководит проведением обследований, должны определять надлежащий уровень и интенсивность оценки для данных обследования. При принятии этих решений следует учитывать в том числе следующие факторы: способы исполь- зования данных и их пользователи; потенциальные ошибки и их воздействие на использование данных; изменение качества с течением времени; затраты на проведение оценки по отношению к совокупным затратам на проведение обсле- XI 190 Руководство по подготовке статистических данных об использовании времени дования; потенциал для повышения качества, эффективности или продуктив- ности статистических операций; ценность показателей оценки качества данных для пользователей и трудности с их истолкованием; а также то, будет ли обсле- дование проводиться повторно или нет (Statistics Canada, 1998 b, p. 51, para. 1). А. ЭЛЕМЕНТЫ ОЦЕНКИ КАЧЕСТВА РЕЗУЛЬТАТОВ ОБСЛЕДОВАНИЯ ИСПОЛЬЗОВАНИЯ ВРЕМЕНИ 668. Результаты обследования следует рассматривать до их распростра- нения и публикации с тем, чтобы выявить и оценить ошибки в данных и несоот- ветствие в статистических таблицах. Это заложит основу для внесения исправ- лений и корректировок, где это возможно, и для подготовки соответствующих разъяснений об ограниченном характере данных, которые включаются в руко- водство по истолкованию результатов для пользователей. В настоящем разделе изложены основные элементы изучения качества данных обследования в це- лом; кроме того, рассматриваются конкретные способы применения данных об использовании времени. 1. Вопросы качества данных 669. Качество данных обследования оценивается исходя из того, на- сколько часто возникают ошибки. Как и в любом обследовании, источники ошибок в обследовании использования времени определяются на основе ком- понентов совокупных ошибок в обследовании — ошибки выборки и ошибки регистрации. Имеется множество технических публикаций, посвященных ошибкам в обследованиях, и в настоящем Руководстве данная тема подробно не рассматривается; вместо этого в нем особое внимание уделяется вопросам ка- чества, касающимся данных об использовании времени. Эти вопросы рассмат- риваются во второй и третьей части в связи с мерами, которые можно принять на этапе разработки (например, способ сбора данных, разработка вопросника, определение выборки), а также на оперативном этапе и на этапе обработки дан- ных (например, процедуры контроля качества) для максимального сокращения числа ошибок. В настоящем разделе рассматривается методология определения характера этих ошибок и оценки их масштабов. а) Ошибка выборки 670. Ошибка выборки (или изменчивость выборки) возникает в тех случаях, когда результаты сбора данных касаются не всего населения, а лишь его выборки. Статистические данные, полученные в ходе обследований ис- пользования времени, могут отличаться от демографических характеристик, поскольку обследованию подвергается лишь выборка из всех лиц и периодов времени. Факты, влияющие на масштаб ошибки выборки, включают характер выборки, размер выборки и изменчивость демографических характеристик (см. главу VI). 671. Стандартные показатели ошибки выборки — это стандартная ошибка и относительная стандартная ошибка, либо коэффициент вариации, который представляет собой стандартную ошибку, выраженную в процентах к оценке, с которой она связана. При оценке качества данных с точки зрения стан- дартных ошибок можно использовать следующее практическое правило: когда ошибка выборки составляет более 33 1/3 процента самой оценки, она считается настолько ненадежной, что она не может быть опубликована; когда ошибка вы- борки находится в диапазоне от 16 2/3 и 33 1/3 процента, такими оценками сле- Изучение качества данных об использовании времени 191 дует пользоваться с осторожностью; и оценки с ошибкой выборки менее 16 2/3 процента могут быть использованы без ограничений (Statistics Canada, 1998 c). 672. Имеется следующее практическое правило, основанное на относи- тельных стандартных ошибках: для большинства целей достаточно надежными считаются лишь оценки с относительными стандартными ошибками менее 25 процентов; оценками с относительными стандартными ошибками в диапазоне от 25 до 50 процентов следует пользоваться с осторожностью; а оценки с от- носительными стандартными ошибками, превышающими 50 процентов, на- столько ненадежны, что публиковать их нельзя (Australian Bureau of Statistics, 1992, p. 28, para. 4). b) Ошибки регистрации 673. Основные источники ошибки регистрации — это: а) отсутствие данных, вызванное ошибками, связанными с охватом, и отсутствием реакции со стороны учреждений и отдельных групп; и b) погрешности измерений, вызван- ные ошибками в ответах и ошибками в обработке (кодирование и ввод данных). Зачастую определить масштаб этих ошибок и выразить его в количественных показателях не так просто. Ошибки вследствие неполного охвата 674. Ошибки вследствие неполного охвата возникают в тех случаях, когда целевая группа населения отличается от обследуемого населения; эти различия, как правило, вызваны пропусками, ошибками во включении и дуб- лированием в рамках, которые используются для проведения обследования. В обследованиях использования времени ошибки вследствие неполного охвата связаны не только с членами домашних хозяйств и отдельными лицами, но и с охватом временнόго периода, определяемого в соответствии с концепцией временнόй выборки. Например, в случае целевой выборки дней для обследова- ния использования времени такая выборка может включать все дни в году, но некоторые дни могут исключаться из выборки дней, определенной для обследо- вания. Такие исключения можно предусмотреть из-за практических трудностей с получением данных об использовании времени у респондентов в рамках об- следования по этим дням (например, Рождество, Новый год) и/или поскольку люди в эти дни ведут себя весьма необычно (например, фиеста, свадьба или несчастный случай в течение дня, указанного для представления данных). 675. Поскольку ошибки вследствие неполного охвата затрагивают каж- дую оценку, подготовленную по итогам обследования, ошибки такого рода от- носятся к числу важнейших. Такие ошибки могут приводить как к позитивному, так и негативному отклонению в данных, а последствия могут быть разными для различных подгрупп населения. Например, можно исключить институциональ- ные группы населения или географические районы, охват которых слишком дорогостоящ. Отклонения в оценках будут зависеть от того, насколько исклю- чаемое население отличается от остального состава целевой группы населения (например, в связи с моделями использования времени). 676. Когда из состава населения исключается незначительное число групп, отклонения в оценках тоже, как правило, будут незначительными. Тем не менее, когда ответы на некоторые из вопросов в ходе обследования тесно увязаны с характеристиками исключаемых групп, масштаб отклонений может быть более значительным. 677. Коэффициенты охвата, полученные в результате сравнения оценок демографических подгрупп, полученных в ходе обследования, связанных, на- пример, с возрастом, расой или полом, с демографическими оценками из не- 192 Руководство по подготовке статистических данных об использовании времени зависимого источника (например, перепись населения, контрольная проверка результатов обследований) дают представление о том, насколько неполным был охват. Исследования, посвященные лишь оценке того, насколько неполным был охват, не дают никакого представления об отклонении для отдельных оце- нок в рамках обследования. Корректировка оценок посредством последующей стратификации или калибровка имеют целью сократить отклонение вследствие неполноты охвата, но они не могут его устранить. Изучение вспомогательных выборок может дать представление об отклонении вследствие неполноты ох- вата, однако они, как правило, слишком малы для того, чтобы ими можно было пользоваться для осуществления оценки (Kalton, 2000). Ошибки, связанные с отсутствием ответа 678. Ошибки, связанные с отсутствием ответа, возникают в тех случаях, когда: а) группы населения в выборке не дают ответа (отсутствие ответа от группы); или b) когда отвечающая группа не дает полных ответов на элементы данных в обследовании (отсутствие ответа по элементам данных). В ходе обсле- дований домашних хозяйств ответ от групп не поступает в тех случаях, когда выбранные домашние хозяйства и/или отдельные лица остаются в стороне или отказываются от участия в обследовании. В обследованиях использования вре- мени ответы от групп могут также не поступать на уровне заполнения дневников, когда отобранное лицо не заполняет дневник в указанный день. Сходным обра- зом, ответ по элементам данных отсутствует, когда собранные данные, будь то в вопросниках для домашних хозяйств и отдельных лиц, либо в дневнике, явля- ются неполными. Отсутствие ответа вызывает увеличение дисперсии вследствие либо уменьшения размера эффективной выборки, либо использование вменения значений, либо и того, и другого одновременно, и может вызвать отклонение, если нереспонденты и респонденты отличаются друг от друга с точки зрения ха- рактеристик интереса, связанных, например, с моделями повседневных занятий. Масштаб отклонения зависит от этих различий и уровня отсутствия ответа. 679. Доля ответивших на уровне домашних хозяйств, отдельных лиц и заполнения дневников — это основные показатели уровня отсутствия ответов со стороны групп, их рассчитывают на основе данных обследования. Эти пока- затели должны сообщаться по всей выборке и по основным аспектам обследова- ния. Потребовалось бы сформировать критерии ответов для определения того, когда именно ответ не был получен; чтобы засчитать наличие ответа, полнота ответа по элементу данных или частичный ответ (когда достаточно точный от- вет получен лишь по некоторым элементам данных, требующихся респонденту) должны соответствовать определенному пороговому уровню, ниже которого ответ не засчитывался бы и рассматривался в качестве отсутствия ответа со стороны группы (когда опрошенное лицо или домашнее хозяйство относится к категории вообще не давших никакого ответа). 680. Для того чтобы рассчитать долю ответивших на уровне домашних хозяйств, следовало бы, во-первых, отнести каждое выбранное домашнее хо- зяйство к тому или иному классу пригодности на основе определения сферы ох- вата обследования. Имеется следующий пример группы классов пригодности: Непригодный опрос • . С выбранным домашним хозяйством устанавли- вается связь, однако в этом домашнем хозяйстве нет ни одного рес- пондента, соответствующего критериям обследования. Приемлемые респонденты, не дающие ответа • . Произвольно выбран- ное домашнее хозяйство включает как минимум одного приемлемого респондента, однако никого из них не опрашивают, либо всем прием- лемым респондентам не удается заполнить дневник в соответствии с принятыми нормами. Изучение качества данных об использовании времени 193 Приемлемые ответы • . Произвольно выбранное домашнее хозяйство включает как минимум одного приемлемого респондента, причем как минимум один приемлемый респондент заполняет дневник и личный вопросник в соответствии с принятыми нормами. Отсутствие данных о соответствии критериям обследования • . По произвольно выбранному домашнему хозяйству нельзя получить никакой информации о соответствии, поскольку с ним никто не свя- зывался, либо контактное лицо отказалось заполнить формуляр для домашних хозяйств. С учетом этих классов пригодности доля ответивших на уровне домашних хо- зяйств равна частному от деления числа соответствующих критериям давших ответ домашних хозяйств на общее число домашних хозяйств. Кроме того, важно далее разделить «приемлемые, не давшие ответа» домашние хозяйства на «частично ответившие» и «вообще не давшие никакого ответа». 681. Критерии ответа на личном уровне могут быть сформулированы аналогичным образом. Например, в ходе обследования, когда приемлемое лицо должно заполнить личный вопросник и два дневника, охватывающих одни сутки, категории ответов могут быть сформулированы следующим образом: Ответы • : респонденты, заполнившие личный вопросник и оба днев- ника, в которых закодировано как минимум 18 часов (или конкретно установленный минимум). Отсутствие ответа • : респонденты, не заполнившие личного воп- росника, или заполнившие один дневник, в котором закодировано ме- нее 18 часов (или конкретно установленный минимум). Отсутствие ответов может быть далее подразделено исходя из причин незапол- нения формуляров; например, отказ, отсутствие контакта. 682. Поскольку различия между респондентами и нереспондентами мо- гут вызвать отклонения в оценках, важно попытаться определить то, сущест- вуют ли вообще такие различия. Обстоятельные последующие исследования вспомогательных выборок нереспондентов могут оказаться полезными; ответы нереспондентов, которые в конечном итоге дали ответ в ходе последующих мероприятий, закладывают основу для сопоставления. Однако, как правило, проще сопоставлять характеристики респондентов и нереспондентов для оп- ределения того, насколько велики различия на уровне известных характерис- тик. Информацию об известных характеристиках можно извлечь из концепции обследования или из более ранних этапов сбора данных, если они имеются. В случае отсутствия ответа по элементам данных респонденты и нереспонденты сопоставляются в плане их ответов на другие вопросы обследования. В тех слу- чаях, когда точно оценить характер и масштабы различий между респонден- тами и нереспондентами в обследовании не представляется возможным, сле- дует сделать все возможное для сокращения уровня непредставления ответов. 683. В целом имеются две методологии компенсации отсутствия отве- тов: корректировки веса выборки и вменение значений (Kalton and Kasprzyk, 1986). Корректировки веса нацелены на сокращение связанного с отсутствием ответов отклонения, однако не исключают само такое отклонение. Когда такие корректировки вносятся, оценки дисперсий оценок в обследовании должны учитывать такое влияние. Условное исчисление может обеспечить сокращение связанного с отсутствием ответов отклонения, но не может исключить его; осо- бенности условного исчисления должны учитываться в рамках оценки диспер- сий (вопросы весовых корректировок и заполнения пропущенных значений рассматриваются, кроме того, в VIII и IX главах). 194 Руководство по подготовке статистических данных об использовании времени Погрешности измерения 684. Два вида погрешностей измерения — это ошибки в ответах и ошибки обработки данных. Ошибки в ответах возникают, когда полученный ответ от- личается от «реального» значения. Такие ошибки могут возникать по вине рес- пондента, интервьюера, вопросника или метода сбора данных. Такие ошибки могут носить произвольный характер или приводить к систематическому от- клонению в результатах. Ошибки обработки данных могут возникать на таких этапах, как редактирование данных, кодирование, систематизация, условное исчисление и составление таблиц. Как и в случае с ошибками в ответах, ошибки обработки данных могут приводить либо к дисперсии, либо к отклонению. 685. Ниже приводятся общие сведения об источниках ошибок в ответах и ошибок обработки данных в обследованиях использования времени. Меры по максимальному сокращению их числа рассматриваются во второй и третьей частях настоящего Руководства. Изменчивость данных. • Описания действий, содержащиеся в дневни- ках респондентов, могут значительно отличаться друг от друга — по уровню детализации или по числу действий. Например, кто-то может написать «чтение», а кто-то — «чтение газеты»; или кто-то может кон- кретно написать о чистке овощей, разделке мяса и выпечке хлеба, а кто-то может написать лишь «приготовление пищи» или даже просто «работа по дому». Это могло бы привести к несовпадению подходов к кодированию видов деятельности. Классификация видов деятельности. • Два основных источника оши- бок в ответах и кодировании — это: а) в докладе респондента в ка- честве единственного вида деятельности проходит то, что в действи- тельности является сочетанием нескольких видов деятельности и b) использование различных уровней детализации в описании того или иного вида деятельности (например, реальные мотивы, намере- ния или цель, функция), что ставит согласованность кодирования в зависимость от наличия достаточной информации по этим аспектам для классификации того или иного вида деятельности. Определение времени выполнения сочетания нескольких видов деятельности при- водит к менее точному и последовательному кодированию действий в целом и к возникновению проблем, в частности, с разграничением первичной и вторичной деятельности. Тот факт, что та или иная ра- бота может описываться на различных уровнях и, таким образом, может кодироваться различными способами, влечет за собой опре- деленные последствия для принципов и структуры классификации деятельности, используемых для обследования (продолжение рас- смотрения этого вопроса см. в части пятой). Представление данных об одновременно выполняемых видах деятель- • ности. Структура вопросников оказывает влияние на сообщаемое ко- личество одновременно выполняемых видов деятельности. Например, в 1987 году в ходе проводившегося в Австралии экспериментального обследования использования времени было отмечено, что использо- вание всего лишь одной колонки в дневнике для всех видов деятель- ности привело к значительным расхождениям в учете одновременно выполняемых видов деятельности. Кроме того, о некоторых видах де- ятельности (например, уход за детьми/присмотр; уход за больными, инвалидами и пожилыми людьми), как правило, точнее сообщалось при наличии не одной, а двух отдельных колонок для разграничения первичных и вторичных видов деятельности. Изучение качества данных об использовании времени 195 Ошибочный учет и/или кодирование последовательно выполняемых • видов работ в качестве одновременно выполняемых видов работ. При использовании фиксированных интервалов времени длина интервала влияет на то, насколько часто возникает такого рода проблема: более длительные интервалы могут привести к тому, что подобного рода ошибки станут возникать чаще. Пропущенные виды деятельности. • Многие виды деятельности часто не фиксируются в дневниках, и поэтому недооцениваются. Они вклю- чают, в том числе, вспомогательные виды деятельности, связанные, например, с пассивным уходом за детьми, курением, потреблением напитков, едой и путешествиями. Широко распространенные виды деятельности. • Респондент может заниматься той или иной деятельностью в течение длительного вре- мени, но не будет последовательно сообщать о ней в своем дневнике. Например, уход/присмотр за детьми может осуществляться в течение всего дня, в то время как респондент занимается различными другими конкретными видами работы; возможно, что о других видах работы сообщалось по мере ее выполнения, однако уход за детьми фиксиро- вался в дневнике лишь спорадически. 686. Ошибки в ответах оцениваются с помощью исследований действи- тельности и надежности. Цель исследования действительности применительно к обследованию использования времени заключается в определении того, на- сколько зафиксированная в дневнике деятельность соответствует реальному поведению. Основная концепция исследования предусматривает сопоставле- ние данных о деятельности, полученных в ходе обследования использования времени, с результатами, которые, как предполагается, являются более дейс- твительными. Например, Робинсон (1985) описывает два вида исследований действительности. В рамках одного из них сопоставляется деятельность, за- фиксированная в дневнике, с деятельностью, о которой сообщали респонденты, когда устройство звуковой сигнализации напоминало им о необходимости за- фиксировать ту или иную деятельность; в рамках второго исследования зафик- сированная в дневнике использования времени деятельность сопоставлялась с деятельностью, о которой сообщали респонденты, когда они более подробно опрашивались о том, какую именно работу они проделали в течение конкрет- ного «произвольно выбранного часа» в течение 24-часового периода регистра- ции (Robinson, 1985, p. 33). 687. Задача исследований надежности заключается в определении того, может ли методология обследований использования времени обеспечить по- лучение аналогичных совокупных результатов в тех случаях, когда она при- меняется к аналогичным выборкам. В этих исследованиях сопоставляются результаты, полученные с помощью дневников использования времени с ис- пользованием различной методологии. Исследования с повторными опросами представляют собой такую категорию методов оценки, когда вспомогательные выборки исходной выборки для обследования отбираются для целей исследо- вания действительности, в рамках которых оценивается отклонение в ответах, а также для исследований надежности, в рамках которых оценивается дисперсия ответов. Например, Робинсон описывает исследование, когда сопоставлялась деятельность, сведения о которой сообщались в разбивке по вспомогательным выборкам обследования в день, предшествующий опросу, и деятельность, све- дения о которой сообщались в день, следующий за днем опроса. 688. Исследования ошибок при кодировании предназначены для оценки отклонений и дисперсии, связанной с ошибками при кодировании. Отклонение оценивается посредством сопоставления ответов с «реальными» величинами, 196 Руководство по подготовке статистических данных об использовании времени полученными посредством обращения к услугам более квалифицированных интервьюеров или экспертов по кодированию; дисперсия оценивается посредс- твом независимого копирования методов сбора данных или повторения неза- висимого кодирования различными специалистами по кодированию. |