Главная страница
Навигация по странице:

  • Эмпирические методы (методы-действия) .

  • Методология. А. М. Новиков д. А. Новиков методология


    Скачать 3.22 Mb.
    НазваниеА. М. Новиков д. А. Новиков методология
    Дата17.03.2022
    Размер3.22 Mb.
    Формат файлаpdf
    Имя файлаМетодология.pdf
    ТипДокументы
    #401829
    страница9 из 49
    1   ...   5   6   7   8   9   10   11   12   ...   49
    Шкала
    Допустимое преобразование
    Наименований
    Взаимно-однозначное
    Порядковая
    Строго возрастающее
    Интервалов
    Линейное
    Отношений
    Подобия
    Как отмечалось выше, результаты любых измерений от- носятся, как правило, к одному из основных (перечисленных выше) типов шкал. Однако получение результатов измерений не является самоцелью – эти результаты необходимо анали- зировать, а для этого нередко приходится строить на их осно- вании производные показатели. Эти производные показатели могут измеряться в других шкалах, нежели чем исходные.
    Например, можно для оценки знаний применять 100- балльную шкалу. Но она слишком детальна, и ее можно при необходимости перестроить в пятибалльную («1» – от «1» до
    «20»; «2» – от «21» до «40» и т.д.), или двухбалльную (на- пример, положительная оценка – все, что выше 40 баллов, отрицательная – 40 и меньше). Следовательно, возникает проблема – какие преобразования можно применять к тем или иным типам исходных данных. Другими словами, переход от какой шкалы к какой является корректным. Эта проблема в

    Методология научного исследования
    123
    теории измерений получила название проблемы адекватно-
    сти.
    Для решения проблемы адекватности можно воспользо- ваться свойствами взаимосвязи шкал и допустимых для них преобразований, так как отнюдь не любая операция при обра- ботке исходных данных является допустимой. Так, например, такая распространенная операция, как вычисление среднего арифметического, не может быть использована, если измере- ния получены в порядковой шкале [183]. Общий вывод таков
    – всегда возможен переход от более мощной шкалы к менее мощной, но не наоборот (например, на основании оценок, полученных в шкале отношений, можно строить балльные оценки в порядковой шкале, но не наоборот).
    Завершив описание такого эмпирического метода, как измерение, вернемся к рассмотрению других эмпирических методов научного исследования.
    Опрос. Этот эмпирический метод применяется только в общественных и гуманитарных науках. Метод опроса подраз- деляется на устный опрос и письменный опрос.
    Устный опрос (беседа, интервью). Суть метода понятна из его названия. Во время опроса у спрашивающего налицо личный контакт с отвечающим, то есть он имеет возможность видеть, как отвечающий реагирует на тот или другой вопрос.
    Наблюдатель может в случае надобности задавать различные дополнительные вопросы и таким образом получать допол- нительные данные по некоторым неосвещенным вопросам.
    Устные опросы дают конкретные результаты, и с их по- мощью можно получить исчерпывающие ответы на сложные вопросы, интересующие исследователя. Однако на вопросы
    «щекотливого» характера опрашиваемые отвечают письмен- но гораздо откровеннее и ответы при этом дают более под- робные и основательные.
    На устный ответ отвечающий затрачивает меньше време- ни и энергии, чем на письменный. Однако такой метод имеет и свои отрицательные стороны. Все отвечающие находятся в неодинаковых условиях, некоторые из них могут получить

    124
    Глава 2
    через наводящие вопросы исследователя добавочную инфор- мацию; выражение лица или какой-либо жест исследователя оказывает некоторое воздействие на отвечающего.
    Вопросы, используемые для интервью, заблаговременно планируются и составляется вопросник, где должно быть оставлено место и для записи (протоколирования) ответа.
    Основные требования при составлении вопросов:
    1) опрос не должен носить случайный характер, а быть планомерным; при этом более понятные отвечающему вопро- сы задаются раньше, более трудные – позднее;
    2) вопросы должны быть лаконичными, конкретными и понятными для всех отвечающих;
    3) вопросы не должны противоречить этическим нормам.
    Правила проведения опроса:
    1) во время интервью исследователь должен быть с отве- чающим наедине, без посторонних свидетелей;
    2) каждый устный вопрос прочитывается с вопросного листа (вопросника) дословно, в неизменном виде;
    3) точно придерживается порядок следования вопросов; отвечающий не должен видеть вопросника или иметь воз- можность прочитать следующие за очередным вопросы;
    4) интервью должно быть кратковременным – от 15 до 30 минут в зависимости от возраста и интеллектуального уровня опрашиваемых;
    5) интервьюирующий не должен воздействовать на отве- чающего каким-либо способом (косвенно подсказывать ответ, качать головой в знак неодобрения, кивать головой и т.д.);
    6) интервьюирующий может в случае надобности, если данный ответ неясен, задавать дополнительно лишь ней- тральные вопросы (например: «Что Вы хотели этим ска- зать?», «Объясните немного подробнее!»).
    7) ответы записываются в вопросник только во время оп- роса.
    В дальнейшем ответы анализируются и интерпретируют- ся.

    Методология научного исследования
    125
    Письменный опрос – анкетирование. В его основе лежит заранее разработанный вопросник (анкета), а ответы респон- дентов (опрашиваемых) на все позиции вопросника состав- ляют искомую эмпирическую информацию.
    Качество эмпирической информации, получаемой в ре- зультате анкетирования, зависит от таких факторов, как фор- мулировка вопросов анкеты, которые должны быть понятны опрашиваемому; квалификация, опыт, добросовестность, психологические особенности исследователей; ситуация опроса, его условия; эмоциональное состояние опрашивае- мых; обычаи и традиции, представления, житейская ситуа- ция; а также – отношение к опросу. Поэтому, используя та- кую информацию, всегда необходимо делать поправку на неизбежность субъективных искажений вследствие специфи- ческого индивидуального «преломления» ее в сознании оп- рашиваемых. А там, где речь идет о принципиально важных вопросах, наряду с опросом обращаются и к другим методам
    – наблюдению, экспертным оценкам, анализу документов.
    Особое внимание уделяется разработке вопросника – ан- кеты, содержащей серию вопросов, необходимых для полу- чения информации в соответствии с целями и гипотезой исследования. Анкета должна отвечать следующим требова- ниям: быть обоснованной относительно целей ее использова- ния, то есть обеспечивать получение искомой информации; иметь устойчивые критерии и надежные шкалы оценок, адек- ватно отражающие изучаемую ситуацию; формулировка вопросов должна быть понятна опрашиваемому и непротиво- речива; вопросы анкеты не должны вызывать отрицательных эмоций у респондента (отвечающего).
    Вопросы могут носить закрытую или открытую форму.
    Закрытым называется вопрос, если на него в анкете приво- дится полный набор вариантов ответов. Опрашиваемый толь- ко отмечает тот вариант, который совпадает с его мнением.
    Такая форма анкеты значительно сокращает время заполне- ния и делает одновременно анкету пригодной для обработки на компьютере. Но иногда есть необходимость узнать непо-

    126
    Глава 2
    средственно мнение опрашиваемого по вопросу, исключаю- щему заранее подготовленные варианты ответов. В этом случае прибегают к открытым вопросам.
    Отвечая на открытый вопрос, отвечающий руководству- ется только собственными представлениями. Следовательно, такой ответ более индивидуализирован.
    Повышению достоверности ответов способствует и со- блюдение ряда других требований. Одно из них состоит в том, чтобы респонденту была обеспечена возможность укло- ниться от ответа, выразить неопределенное мнение. Для этого шкала оценок должна предусматривать варианты ответов:
    «трудно сказать», «затрудняюсь ответить», «бывает по- разному», «когда как», и т.п. Но преобладание в ответах таких вариантов является свидетельством либо некомпетент- ности респондента, либо непригодности формулировки во- проса для получения нужной информации.
    Для того чтобы получить достоверные сведения об ис- следуемом явлении, процессе, не обязательно опрашивать весь контингент, так как объект исследования может быть численно очень большим. В тех случаях, когда объект иссле- дования превышает несколько сот человек, применяется выборочное анкетирование.
    Метод экспертных оценок. По существу, это разновид- ность опроса, связанная с привлечением к оценке изучаемых явлений, процессов наиболее компетентных людей, мнения которых, дополняющие и перепроверяющие друг друга, по- зволяют достаточно объективно оценить исследуемое. Ис- пользование этого метода требует ряда условий. Прежде всего – это тщательный подбор экспертов – людей, хорошо знающих оцениваемую область, изучаемый объект и способ- ных к объективной, непредвзятой оценке.
    Существенное значение имеет также выбор точной и удобной системы оценок и соответствующих шкал измере- ния, что упорядочивает суждения и дает возможность выра- зить их в определенных величинах.

    Методология научного исследования
    127
    Зачастую бывает необходимо обучить экспертов пользо- ваться предложенными шкалами для однозначной оценки, чтобы свести к минимуму ошибки, сделать оценки сопоста- вимыми.
    Если действующие независимо друг от друга эксперты стабильно дают совпадающие или близкие оценки или выска- зывают близкие мнения, есть основания полагать, что они приближаются к объективным. Если же оценки сильно расхо- дятся, то это говорит либо о неудачном выборе системы оце- нок и шкал измерения, либо о некомпетентности экспертов.
    Разновидностями метода экспертных оценок являются: метод комиссий, метод мозгового штурма, метод Делфи, метод эвристического прогнозирования и др. Ряд этих мето- дов будет рассмотрен в третьей главе настоящей работы (см. также [59, 127, 181, 192, 217]).
    Тестирование – эмпирический метод, диагностическая процедура, заключающаяся в применении тестов (от англий- ского test – задача, проба). Тесты обычно задаются испытуе- мым либо в виде перечня вопросов, требующих кратких и однозначных ответов, либо в виде задач, решение которых не занимает много времени и также требует однозначных реше- ний, либо в виде каких-либо краткосрочных практических работ испытуемых, например квалификационных пробных работ в профессиональном образовании, в экономике труда и т.п. Тесты различаются на бланочные, аппаратурные (напри- мер, на компьютере) и практические; для индивидуального применения и группового.
    Вот, пожалуй, и все эмпирические методы-операции, ко- торыми располагает на сегодняшний день научное сообщест- во. Далее мы рассмотрим эмпирические методы-действия, которые строятся на использовании методов-операций и их сочетаний.
    Эмпирические методы (методы-действия).
    Эмпирические методы-действия следует, прежде всего, подразделить на два класса. Первый класс – это методы изу- чения объекта без его преобразования, когда исследователь

    128
    Глава 2
    не вносит каких-либо изменений, преобразований в объект исследования. Точнее говоря, не вносит существенных изме- нений в объект – ведь, согласно принципу дополнительности
    (см. выше) исследователь (наблюдатель) не может не менять объект. Назовем их методами отслеживания объекта. К ним относятся: собственно метод отслеживания и его частные проявления – обследование, мониторинг, изучение и обобще- ние опыта.
    Другой класс методов связан с активным преобразовани- ем исследователем изучаемого объекта – назовем эти методы
    преобразующими методами – в этот класс войдут такие мето- ды, как опытная работа и эксперимент.
    Отслеживание, зачастую, в ряде наук является, пожалуй, единственным эмпирическим методом-действием. Например, в астрономии. Ведь астрономы никак не могут пока влиять на изучаемые космические объекты. Единственная возможность
    – отслеживать их состояние посредством методов-операций: наблюдения и измерения. То же, в значительной мере, отно- сится и к таким отраслям научного знания как география, демография и т.д., где исследователь не может что-либо из- менять в объекте исследования.
    Кроме того, отслеживание применяется и тогда, когда ставится цель изучения естественного функционирования объекта. Например, при изучении тех или иных особенностей радиоактивных излучений или при изучении надежности технических устройств, которая проверяется их длительной эксплуатацией.
    Обследование – как частный случай метода отслеживания
    – это изучение исследуемого объекта с той или иной мерой глубины и детализации в зависимости от поставленных ис- следователем задач. Синонимом слова «обследование» явля- ется «осмотр», что говорит о том, что обследование – это в основном первоначальное изучение объекта, проводимое для ознакомления с его состоянием, функциями, структурой и т.д.
    Обследования чаще всего применяются по отношению к организационным структурам – предприятиям, учреждениям

    Методология научного исследования
    129
    и т.п. – или по отношению к общественным образованиям, например, населенным пунктам, для которых обследования могут быть внешними и внутренними.
    Внешние обследования: обследование социокультурной и экономической ситуации в регионе, обследование рынка товаров и услуг и рынка труда, обследование состояния заня- тости населения и т.д. Внутренние обследования: обследова- ния внутри предприятия, учреждения – обследование состоя- ния производственного процесса, обследования контингента работающих и т.д.
    Обследование проводится посредством методов- операций эмпирического исследования: наблюдения, изуче- ния и анализа документации, устного и письменного опроса, привлечения экспертов и т.д.
    Любое обследование проводится по заранее разработан- ной подробной программе, в которой детально планируется содержание работы, ее инструментарий (составление анкет, комплектов тестов, вопросников, перечня подлежащих изу- чению документов и т.д.), а также критерии оценки подлежа- щих изучению явлений и процессов. Затем следуют этапы: сбора информации, обобщения материалов, подведения ито- гов и оформления отчетных материалов. На каждом этапе может возникнуть необходимость корректировки программы обследования, когда исследователь или группа исследовате- лей, проводящих его, убеждаются, что собранных данных не хватает для получения искомых результатов, или собранные данные не отражают картину изучаемого объекта и т.д.
    По степени глубины, детализации и систематизации об- следования подразделяют на:
    – пилотажные (разведывательные) обследования, прово- димые для предварительной, относительно поверхностной ориентировки в изучаемом объекте;
    – специализированные (частичные) обследования, прово- димые для изучения отдельных аспектов, сторон изучаемого объекта;

    130
    Глава 2
    – модульные (комплексные) обследования – для изучения целых блоков, комплексов вопросов, программируемых ис- следователем на основании достаточно подробного предвари- тельного изучения объекта, его структуры, функций и т.д.;
    – системные обследования – проводимые уже как полно- ценные самостоятельные исследования на основе вычленения и формулирования их предмета, цели, гипотезы и т.д., и предполагающие целостное рассмотрение объекта, его систе- мообразующих факторов.
    На каком уровне проводить обследование в каждом кон- кретном случае решает сам исследователь или исследователь- ский коллектив в зависимости от поставленных целей и задач научной работы.
    Мониторинг. Это постоянный надзор, регулярное отсле- живание состояния объекта, значений отдельных его пара- метров с целью изучения динамики происходящих процессов, прогнозирования тех или иных событий, а также предотвра- щения нежелательных явлений. Например, экологический мониторинг, синоптический мониторинг и т.д.
    Изучение и обобщение опыта(деятельности). При прове- дении исследований изучение и обобщение опыта (организа- ционного, производственного, технологического, медицин- ского, педагогического и т.д.) применяется с различными целями: для определения существующего уровня детальности предприятий, организаций, учреждений, функционирования технологического процесса, выявления недостатков и узких мест в практике той или иной сферы деятельности, изучения эффективности применения научных рекомендаций, выявле- ния новых образцов деятельности, рождающихся в творче- ском поиске передовых руководителей, специалистов и це- лых коллективов. Объектом изучения могут быть: массовый
    опыт – для выявления основных тенденций развития той или иной отрасли народного хозяйства; отрицательный опыт – для выявления типичных недостатков и узких мест; передо-
    вой опыт, в процессе которого выявляются, обобщаются,

    Методология научного исследования
    131
    становятся достоянием науки и практики новые позитивные находки.
    Изучение и обобщение передового опыта является одним из основных источников развития науки, поскольку этот метод позволяет выявлять актуальные научные проблемы, создает основу для изучения закономерностей развития про- цессов в целом ряде областей научного знания, в первую очередь – так называемых технологических наук.
    Критерии передового опыта:
    1) Новизна. Может проявляться в разной степени: от вне- сения новых положений в науку до эффективного примене- ния уже известных положений.
    2) Высокая результативность. Передовой опыт должен давать результаты выше средних по отрасли, группе анало- гичных объектов и т.п.
    3) Соответствие современным достижениям нау- ки. Достижение высоких результатов не всегда свидетельст- вует о соответствии опыта требованиям науки.
    4) Стабильность – сохранение эффективности опыта при изменении условий, достижение высоких результатов на протяжении достаточно длительного времени.
    5) Тиражируемость – возможность использования опыта другими людьми и организациями. Передовой опыт могут сделать своим достоянием другие люди и организации. Он не может быть связан только с личностными особенностями его автора.
    6) Оптимальность опыта – достижение высоких результа- тов при относительно экономной затрате ресурсов, а также не в ущерб решению других задач.
    Изучение и обобщение опыта осуществляется такими эм- пирическими методами-операциями как наблюдение, опросы, изучение литературы и документов и др.
    Недостатком метода отслеживания и его разновидностей
    – обследования, мониторинга, изучения и обобщения опыта как эмпирических методов-действий – является относительно пассивная роль исследователя – он может изучать, отслежи-

    132
    Глава 2
    вать и обобщать только то, что сложилось в окружающей действительности, не имея возможности активно влиять на происходящие процессы. Подчеркнем еще раз, что этот не- достаток зачастую обусловлен объективными обстоятельст- вами. Этого недостатка лишены методы преобразования
    объекта: опытная работа и эксперимент.
    К методам, преобразующим объект исследования, отно- сятся опытная работа и эксперимент. Различие между ними заключаются в степени произвольности действий исследова- теля. Если опытная работа – нестрогая исследовательская процедура, в которой исследователь вносит изменения в объект по своему усмотрению, исходя из своих собственных соображений целесообразности, то эксперимент – это совер- шенно строгая процедура, где исследователь должен строго следовать требованиям эксперимента.
    Опытная работа – это, как уже было сказано, метод вне- сения преднамеренных изменений в изучаемый объект с известной степенью произвола. Так, геолог сам определяет – где искать, что искать, какими методами – бурить скважины, копать шурфы и т.д. Точно так же археолог, палеонтолог определяет – где и как производить раскопки. Или же в фар- мации осуществляется длительный поиск новых лекарствен- ных средств – из 10 тысяч синтезированных соединений только одно становится лекарственным средством [48]. Или же, например, опытная работа в сельском хозяйстве.
    Опытная работа как метод исследования широко исполь- зуется в науках, связанных с деятельностью людей – педаго- гике, экономике, и т.д., когда создаются и проверяются моде- ли, как правило, авторские: фирм, учебных заведений и т.п., или создаются и проверяются разнообразные авторские мето- дики. Или же создается опытный учебник, опытный препарат, опытный образец и затем они проверяются на практике.
    Опытная работа в некотором смысле аналогична мыслен- ному эксперименту – и там и там как бы ставится вопрос: «а что получится, если ...?» Только в мысленном эксперименте

    Методология научного исследования
    133
    ситуация проигрывается «в уме», а в опытной работе ситуа- ция проигрывается действием.
    Но, опытная работа – это не слепой хаотический поиск путем «проб и ошибок».
    Опытная работа становится методом научного исследо- вания при следующих условиях:
    1. Когда она поставлена на основе добытых наукой дан- ных в соответствии с теоретически обоснованной гипотезой.
    2. Когда она сопровождается глубоким анализом, из нее извлекают выводы и создаются теоретические обобщения.
    В опытной работе применяются все методы-операции эмпирического исследования: наблюдение, измерение, анализ документов, экспертная оценка и т.д.
    Опытная работа занимает как бы промежуточное место между отслеживанием объекта и экспериментом.
    Она является способом активного вмешательства иссле- дователя в объект. Однако опытная работа дает, в частности, только результаты эффективности или неэффективности тех или иных инноваций в общем, суммарном виде. Какие из факторов внедряемых инноваций дают больший эффект, какие меньший, как они влияют друг на друга – ответить на эти вопросы опытная работа не может.
    Для более глубокого изучения сущности того или иного явления, изменений, происходящих в нем, и причин этих изменений, в процессе исследований прибегают к варьирова- нию условий протекания явлений и процессов и факторов, влияющих на них. Этим целям служит эксперимент.
    Эксперимент – общий эмпирический метод исследования
    (метод-действие), суть которого заключается в том, что явле- ния и процессы изучаются в строго контролируемых и управ- ляемых условиях. Основной принцип любого эксперимента – изменение в каждой исследовательской процедуре только одного какого-либо фактора при неизменности и контроли- руемости остальных. Если надо проверить влияние другого фактора, проводится следующая исследовательская процеду-

    134
    Глава 2
    ра, где изменяется этот последний фактор, а все другие кон- тролируемые факторы остаются неизменными, и т.д.
    В ходе эксперимента исследователь сознательно изменя- ет ход какого-нибудь явлением путем введения в него нового фактора. Новый фактор, вводимый или изменяемый экспери- ментатором, называется экспериментальным фактором, или
    независимой переменной.Факторы, изменившиеся под влия- нием независимой переменной, называются зависимыми
    переменными.
    В литературе имеется множество классификаций экспе- риментов. Прежде всего, в зависимости от характера иссле- дуемого объекта принято различать эксперименты физиче- ские, химические, биологические, психологические и т.д. По основной цели эксперименты делятся на проверочные (эмпи- рическая проверка некоторой гипотезы) и поисковые (сбор необходимой эмпирической информации для построения или уточнения выдвинутой догадки, идеи). В зависимости от характера и разнообразия средств и условий эксперимента и способов использования этих средств можно различать пря-
    мой (если средства используются непосредственно для иссле- дования объекта), модельный (если используется модель, заменяющая объект), полевой (в естественных условиях, например, в космосе), лабораторный (в искусственных усло- виях) эксперимент.
    Можно, наконец, говорить об экспериментах качествен- ных и количественных, основываясь на различии результатов эксперимента. Качественные эксперименты, как правило, предпринимаются для выявления воздействия тех или иных факторов на исследуемый процесс без установления точной количественной зависимости между характерными величи- нами. Для обеспечения точного значения существенных па- раметров, влияющих на поведение изучаемого объекта, необ- ходим количественный эксперимент.
    В зависимости от характера стратегии экспериментально- го исследования различают:

    Методология научного исследования
    135 1) эксперименты, осуществляемые методом «проб и оши- бок»;
    2) эксперименты на основе замкнутого алгоритма;
    3) эксперименты с помощью метода «черного ящика», приводящие к заключениям от знания функции к познанию структуры объекта;
    4) эксперименты с помощью «открытого ящика», позво- ляющие на основе знания структуры создать образец с задан- ными функциями [265].
    В последние годы широкое распространение получили эксперименты, в которых средством познания выступает компьютер. Они особенно важны тогда, когда реальные сис- темы не допускают ни прямого экспериментирования, ни экспериментирования с помощью материальных моделей. В ряде случаев компьютерные эксперименты резко упрощают процесс исследования – с их помощью «проигрываются» ситуации путем построения модели изучаемой системы.
    В разговоре об эксперименте как методе познания нельзя не отметить и еще один вид экспериментирования, играющий большую роль в естественнонаучных исследованиях. Это
    мысленный экспериментисследователь оперирует не кон- кретным, чувственным материалом, а идеальным, модельным образом. Все знания, получаемые в ходе мысленного экспе- риментирования, подлежат практической проверке, в частно- сти в реальном эксперименте. Поэтому данный вид экспери- ментирования стоит относить к методам теоретического познания (см. выше). П.В. Копнин, например, пишет: «Науч- ное исследование только тогда действительно является экс- периментальным, когда заключение делается не из умозри- тельных рассуждений, а из чувственного, практического наблюдения явлений. Поэтому то, что иногда называют тео- ретическим, или мыслительным экспериментом, фактически не является экспериментом. Мыслительный эксперимент – это обычное теоретическое рассуждение, принимающее внешнюю форму эксперимента» [103].

    136
    Глава 2
    К теоретическим методам научного познания должны быть отнесены также и некоторые другие виды эксперимента, например, так называемые математические и имитационные эксперименты [84]. «Сущность метода математического экс- перимента состоит в том, что эксперименты проводятся не с самим объектом, как это имеет место в классическом экспе- риментальном методе, а с его описанием на языке соответст- вующего раздела математики» [47]. Имитационный экспери- мент представляет собой идеализированное исследование посредством моделирования поведения объекта вместо ре- ального экспериментирования [84]. Иначе говоря, эти виды экспериментирования – варианты модельного эксперимента с идеализированными образами. Подробнее речь о математиче- ском моделировании и имитационных экспериментах идет ниже в третьей главе.
    Итак, мы попытались описать методы исследования с са- мых общих позиций. Естественно, в каждой отрасли научного знания сложились определенные традиции в трактовании и использовании методов исследования. Так, метод частотного анализа в лингвистике будет относиться к методу отслежива- ния
    (метод-действие), осуществляемому методами- операциями анализа документов и измерения. Эксперименты принято делить на констатирующие, обучающие, контроль- ные и сравнительные. Но все они являются экспериментами
    (методами-действиями), осуществляемыми методами- операциями: наблюдения, измерения, тестирования и т.д.
    1   ...   5   6   7   8   9   10   11   12   ...   49


    написать администратору сайта