Главная страница
Навигация по странице:

  • У = 0,600 + 0,206 X .

  • У=а 0 +а 1 Х 1 +а 2 Х 2 +...+ а п Х п .

  • У=а 0 +а 1 Х 1 +а 2 Х 2 + а 3 Х 2 3

  • Вопросы и задания для повторения

  • Мишин В.М. Исследование систем управления. Учебное пособие для студентов заочного обучения всех специальностей Москва зао Финстатинформ


    Скачать 0.65 Mb.
    НазваниеУчебное пособие для студентов заочного обучения всех специальностей Москва зао Финстатинформ
    АнкорМишин В.М. Исследование систем управления.doc
    Дата21.12.2017
    Размер0.65 Mb.
    Формат файлаdoc
    Имя файлаМишин В.М. Исследование систем управления.doc
    ТипУчебное пособие
    #12347
    страница4 из 11
    1   2   3   4   5   6   7   8   9   10   11

    3. Методы исследования систем управления




    3.1. Классификация и характеристика методов исследования систем управления



    При исследовании СУ может использоваться исключительно ши­рокий арсенал разнообразных методов. Соответственно все они мо­гут быть различным образом классифицированы. Например, мето­ды исследования могут быть подразделены на:

    • теоретические;

    • эмпирические;

    • теоретико-эмпирические.

    К теоретическим методам исследования относятся:

    • метод формализации; базирующийся на изучении содержания и структуры СУ в знаковой форме с помощыо искусственных языков и символов, что может обеспечить краткость и однозначность резуль­тат исследования. Этот метод взаимосвязан с другими методами (мо­делирования, абстрагирования, идеализацией и т.п.);

    • метод аксиоматизации, основанный на получении результатов исследования на базе логических аксиом;

    • метод идеализации, предполагающий изучение элемента или компонента системы, наделенного некими гипотетическими идеаль­ными свойствами. Это позволяет упростить исследования и получить результаты на основе математических вычислений с любой заданной точностью;

    • метод восхождения от абстрактного к конкретному, основанный на получении результатов исследования на базе перехода от логичес­кого изучения абстрактного расчлененного исследуемого объекта к целостному конкретному его познанию.

    К эмпирическим методам можно отнести:

    • метод наблюдения, базирующийся на фиксации и регистрации параметров и показателей свойств изучаемого объекта исследования;

    • метод намерения, позволяющий дать определенными единица­ми измерения численную оценку исследуемого свойства объекта;

    • метод сравнения, позволяющий определить различия или общ­ность исследуемого объекта с аналогом (эталоном, образцом и т.п. — в зависимости от цели исследования);

    • метод эксперимента, основанный на исследовании изучаемого объект а в искусственно созданных для него условиях. Условия могут быть натурные или моделированные. Данный метод предполагает, как правило, использование ряда других методов исследования, в том числе методов наблюдения, измерения и сравнения.

    Теоретико-эмпирические методы исследования могут включать:

    • метод абстрагирования, основанный на мысленном отвлечении от несущественных свойств исследуемого объекта и изучении в даль­нейшем наиболее важных его сторон на модели (замещающей реаль­ный объект исследования);

    • метод анализа и синтеза, основанный на использовании различ­ных способов расчленения изучаемого объекта на элементы, отноше­ния (анализ) и соединения в единое целое отдельных его элементов (синтез). Например, применительно к СУ анализ позволяет подразде­лить исследование процессов на операции, выявить в нем связи и от­ношения, а синтез — соединить вес операции, связи и отношения и составить технологическую схему;

    • метод индукции и дедукции, основанный на получении резуль­татов исследования на базе процесса познания от частного к общему (индукция) и от общего к частному (дедукция);

    • метод моделирования, использующий при исследовании объек­та его модели, отражающие структуру, связи, отношения и т.п. Ре­зультаты исследования моделей интерпретируются на реальный объект.

    Другим предметом классификации методов может служить груп­пировка их по стадиям и этапам исследования, по принадлежности к областям науки и научным направлениям, целям исследования, ви­дам анализа и т.п.

    Среди видов анализа следует отметить прогностический, диагнос­тический, детальный и глобальный, при проведении которых исполь­зуется определенная совокупность конкретных методов.

    Прогностический анализ осуществляется при четкой постановке целей развития системы управления. Это определяет необходимость выявления тенденций и разработки прогноза развития исследуемого объекта, что требует формирования его концептуальной (идеальной, желаемой) модели. Такая модель обычно описывается с помощью системы взаимоувязанных параметров и показателей.

    Результатами исследования СУ должно быть не только обоснова­ние направлений развития системы на перспективный период, но и определение причинно-следственных связей, приоритетов и меропри­ятий но совершенствованию систем для конкретных условий функци­онирования. Это может быть достигнуто проведением диагностичес­кого анализа — диагностики СУ. Здесь диагностику следует пони­мать как комплекс взаимосвязанных исследовательских работ аналитического характера, позволяющих установить влияние одних факторов на другие с целью определения недостатков в СУ и их пос­ледующей ликвидации.

    Диагностический анализ служит основой для выполнения деталь­ного (тематического) анализа. Он направлен на поиск количественно определенных резервов в СУ. Детализация может осуществляться, например, методом декомпозиции систем на подсистемы, субподсистемы и элементы. При этом, чем более детальным окажется такое рас­членение на простые части, тем глубже можно будет изучить исследу­емые явления и получить более эффективные результаты.

    При исследовании СУ немаловажное: значение имеет также гло­бальный анализ, охватывающий различные иерархические уровни управления и соответственно системы различного уровня. При про­ведении такого анализа изучаются взаимосвязи и взаимодействие различных систем организаций, осуществляющих единый производ­ственный процесс.

    Независимо от классификации исследований СУ, выполняемых в них видов анализа и всех других исследовательских работ, заслужи­вают упоминания (кроме указанных ранее) те конкретные методы, которые нередко используются в практике. К таким методам отно­сятся: самообследование; интервьюирование, беседа; активное наблю­дение, моментное наблюдение, фотография рабочего дня; анкетиро­вание; изучение документации и информационных материалов; функ­ционально-стоимостной анализ; декомпозиция; последовательная подстановка; сравнение; динамический метод; структуризация целей; экспертный; социологический; оргаполелтический; нормативный; параметрический; главных компонент: балансовый; корреляционный; матричный; аналитически-расчетный: аналогий; сетевой; блочный; творческих совещаний; морфологический анализ; дифференциаль­ный, комплексный и смешанный; индексный; графический и номог­рафический.

    Остановимся на нескольких методах, наиболее часто применяемых в исследовании СУ.

    Метод структуризации целей предусматривает количественное и качественное описание, сроки достижения и анализ иерархически рас­пределенных взаимосвязанных и взаимообусловленных целей СУ. .Структурированные цели часто представляют графически в виде «де­рева» целей, отображающего связи между ними и средства их дости­жения. Построение такого «дерева» осуществляется на основе дедук­тивной логики с использованием эвристических процедур. Оно со­стоит из целей нескольких уровней: генеральная цель — главные цели (подцели 1-го уровня) — цели 2-го уровня — подцели 3-го уровня и так до требуемого уровня. Для достижения генеральной цели необхо­димо реализовать главные кепи (по существу эти цели выступают по отношению к вышележащей цели как средства). Для достижения каж­дой из главных целей требуется реализовать соответственно более конкретные цели 2-го уровня и т.д. Обычно для построения «дерева» целей используют процедуры классификации, декомпозиции и ран­жирования. Каждая подцель должна характеризоваться коэффициен­том относительной важности. Сумма этих коэффициентов для подце­лей одной цели должна равняться единице. Каждый уровень целей (подцелей) следует формировать по определенному признаку деком­позиции процесса их достижения, а любую цель (подцель) желатель­но относить к организационно обособленному подразделению или исполнителю.

    Нормативный метод предусматривает использование совокупно­сти определенных установленных нормативов, сравнение с которы­ми реальных показателей СУ позволяет установить соответствие сис­темы принятой концептуальной модели. Нормативы могут опреде­лить состав и содержание функций, трудоемкость их выполнения, численность персонала, тип ОСУ и др. Примером нормативов может быть норма управляемости, число допустимых уровней управления, нормы трудоемкости выполнения функций и т.п.

    Параметрический метод основывается на количественном выра­жении исследуемых свойств СУ и установлении взаимосвязей между параметрами управляющей и управляемых подсистем. Это дает воз­можность на базе фактических данных определить форму зависимос­тей взаимосвязанных параметров и их количественное выражение. Зависимости параметров могут быть функциональными (проявляе­мыми определенно и точно в каждом отдельном случае — наблюде­нии) или корреляционными (определяемыми на основе корреляцион­ного метода).

    Корреляционный (взаимосвязанный) метод — один из экономи­ко-математических методов исследования, позволяющий определить количественную взаимосвязь между несколькими параметрами иссле­дуемой системы. При этом корреляционная зависимость в отличие от функциональной может проявляться только в общем, среднем случае, то есть в массе случаев — наблюдений.

    Первоначальной важнейшей задачей корреляционного метода яв­ляется определение вида корреляционного уравнения (уравнения рег­рессии). Простейшим видом такого уравнения, характеризующим вза­имосвязь между двумя параметрами, может быть уравнение прямой:

    У = а + bХ,

    где X, У — соответственно независимая и зависимая переменные; а, bпостоянные коэффициенты.

    Вывод о прямолинейном характере зависимости можно проверить путем простого сопоставления имеющихся данных или графическим способом (регистрацией в прямоугольной системе координат значе­ний У и Х, расположение которых па графике позволяет сделать вы­вод о правильности или ошибочности представления о линейном ха­рактере зависимости между двумя изучаемыми параметрами).

    Следующей задачей является определение постоянных коэффици­ентов связи между переменными параметрами, которые наилучшим образом будут отвечать имеющимся фактическим значениям У и X. В данном случае в качестве критерия оценки адекватности линейной зависимости фактическим данным можно использовать минимум сум­мы квадратов отклонений реальных статистических значений У от рассчитанных по уравнению принятой к применению прямой. Коэф­фициенты прямой при использовании данного критерия могут быть определены известным методом наименьших квадратов.

    Примером линейной зависимости можно признать количество за­местителей начальника У функционального отдела от числа работ­ников Xв отделе и на основе статистических данных (для данного примера, как правило, не менее 20—25 пар) получить следующую за­висимость:
    У = 0,600 + 0,206X.

    Величина исследуемого параметра довольно часто складывается под влиянием не одного, а нескольких факторов. В этом случае, на­пример, при линейной связи всех факторов можно использовать ли­нейное уравнение множественной корреляции следующего вида:
    У=а01Х12Х2+...+ а п Х п.

    Если же воздействие какого-либо фактора на исследуемый объект не может быть признано линейным, то соответствующие факторы могут включаться в уравнение не в первой, а в более высокой степе­ни, например во второй:

    У=а01Х12Х2+ а 3 Х 23

    Корреляционные методы, особенно при множественной корреля­ции параметров, эффективно используются, как правило, в совокуп­ности с другими экономико-математическими методами.

    Новые экономические отношения и качественно иная система ме­неджмента требуют использования более современных методов ана­лиза и проектирования систем. К ним следует отнести метод ФСА. который, как показывают исследования, способен быть адекватным современным требованиям при проведении исследовательских работ по совершенствованию.

    В любом случае независимо от используемого конкретного мето­да наибольший эффект и объективность исследовательских работ может быть достигнута комплексным применением приемлемых для целей исследования СУ методов. При этом одни из них могут быть эффективны на одном этапе исследования, а другие — на ином.

    Среди методов, применяемых в исследовании СУ и решении мно­гих управленческих задач, наиболее часто используется экспертный, поэтому он заслуживает отдельного рассмотрения.

    3.2. Экспертные методы в исследовании систем управления



    Как научный способ экспертный метод был разработан сравни­тельно недавно и впервые получил название «Дельфи». В дальней­шем были разработаны другие аналогичные методы, имеющие в сво­ей основе экспертные оценки. Сначала экспертные методы использо­вались в основном для решения задач, связанных с прогнозированием в области пауки и техники, а затем стали применяться н других обла­стях, в том числе в управлении.

    Сущность экспертных методов как при решении задач исследова­ния СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления заключается в усредне­нии различными способами мнений (суждений) специалистов-экспер­тов по рассматриваемым вопросам.

    При классификации по признаку оценки предпочтений при при­нятии решений по управлению в настоящее время наиболее распрос­транены метод рангов, метод непосредственного оценивания, метод сопоставлений. Последний включает две разновидности — парного сравнения и последовательного сопоставления.

    В принципе эти методы имеют много общего, а отличие состоит в том, что оценивание (измерение) изучаемых объектов системного уп­равления осуществляется различными способами.

    Общность заключается в последовательности проведения проце­дур при использовании каждого из методов. К ним следует отнести: организацию экспертного оценивания; проведение сбора мнений эк­спертов; обработку результатов мнений экспертов.

    Практика показывает, что и повышение объективности результа­тов использования экспертных методов существенно зависит от со­блюдения правил организации, подготовки и проведения экспертных работ. В первую очередь это организация экспертного оценивания, назначение ответственного за организацию и проведение работ по экспертной оценке, а также формирование экспертных комиссий.

    Для общего руководства экспертными работами следует назначать председателя экспертной комиссии, В составе комиссии организуют две группы: рабочую и экспертную (рис. 3.1).


    Рис. 3.1. Типовой состав экспертной комиссии
    Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие техни­ческие работы по подготовке материалов к работе экспертов, обра­ботку результатов работы экспертов и т.п.

    В экспертную группу входят эксперты — специалисты по решае­мым проблемам. Формирование этой группы осуществляет руково­дитель (организатор) рабочей группы.

    Формирование экспертной группы включает в себя ряд последо­вательных мероприятий:

    • постановку проблемы и определение области деятельности груп­пы;

    • составление предварительного списка экспертов — специалис­тов в рассматриваемой области деятельности;

    • анализ качественного состава предварительного списка экспер­тов и уточнение списка;

    • получение согласия эксперта для участия в работе;

    • составление окончательного списка экспертной группы.

    Количество экспертов в экспертной группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев опреде­ляется минимально необходимое количество экспертов.
    Подбор конкретных экспертов проводится на основе анализа ка­чества каждого из них. Для этой цели используются разнообразные способы:

    • оценка кандидатов в эксперты на основе статистического ана­лиза результатов прошлой деятельности в качестве экспертов по про­блемам оргпроектирования;

    • коллективная оценка кандидата в эксперты как специалиста в данной области:

    • самооценка кандидата в эксперты;

    • аналитическое определение компетентности кандидатов в эксперты.

    Очень часто применяют одновременно несколько способов. Напри­мер, способы самооценки и коллективной оценки качеств предлагае­мого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует при­знать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценки и коллективной оценки.

    Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям, как:

    • профессиональная компетентность в области проектирования организационных систем;

    • креативность (умение решать творческие задачи);

    • научная интуиция;

    • заинтересованность в объективных результатах экспертной ра­боты;

    • деловитость (собранность, умение переключаться с одного вида деятельности на другой, коммуникативность, независимость сужде­ний, мотивированность действий);

    • объективность;

    • нонконформизм.

    Проведение сбора мнений экспертов предполагает предваритель­ное решение рада вопросов. Это определение:

    • места и времени сбора мнений;

    • формы и методики сбора мнений; ' количества туров сбора мнений;

    • состава и содержательной части документации;

    • порядка занесения результатов мнений экспертов в документы.

    Очень важна форма сбора мнений экспертов. Это могут быть ин­дивидуальные, коллективные и смешанные, то есть различаться преж­де всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

    • анкетирование;

    • интервьюирование;

    • дискуссия;

    • мозговой штурм;

    • совещание;

    • деловая игра.

    Все они обладают своими достоинствами и недостатками. Сме­шанная форма применяется в случаях некоторой неясности пробле­мы, разногласиях индивидуальных мнений или разногласиях экспер­тов при коллективном обсуждении.
    Наиболее часто в проектировании оргсистем практикуется анке­тирование, которое позволяет с меньшими трудозатратами (хотя и с большими затратами времени) собрать мнение экспертов.

    Обычно процесс разработки анкеты включает:

    • определение формы и содержания обращения к эксперту;

    • выбор типа вопросов;

    • формулировку вопросов;

    • изложение необходимой для экспертов информации;

    • разработку формы анкеты.

    Представляет интерес выбор вопросов. В последние годы наибо­лее часто употребляются так называемые веерный, закрытый и от­крытый типы ( веерный предполагает ответ из представленного зара­нее в анкете ряда ответов; закрытый — «да», «нет», «не знаю»; от­крытый — вопрос, ответ на который может быть дан в произвольной форме ).

    При анкетировании экспертов очень важно правильно, просто, однозначно, кратко и в то же время с необходимой полнотой сформу­лировать вопросы в анкетах, а в тексте пояснительной записки ука­зать, что конкретно требуется от эксперта.

    Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъек­тивном измерении эксперты, как правило, применяют один из ука­занных ранее наиболее употребляемых методов (рангов, непосред­ственного оценивания, сопоставлений).

    По методу рангов эксперт осуществляет ранжирование (упорядо­чение) исследуемых объектов организационной системы в зависимо­сти от их относительной значимости (предпочтительности). Наибо­лее предпочтительному объекту обычно присваивается ранг 1, а наи­менее предпочтительному — последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследова­ния и наоборот.

    Таким образом, этот метод позволяет определить место исследуе­мого объекта среди других объектов СУ. Достоинством метода ран­гов является его простота. Однако метод не позволяет с достаточной точностью ранжировать объекты, количество которых превышает 15- -20, а также ответить на вопрос, как далеко по значимости нахо­дятся исследуемые объекты друг от друга.

    Несмотря на свою простоту, данный метод применяется в практи­ке исследования СУ довольно редко.

    Метод непосредственного оценивания представляет собой упоря­дочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важ­ному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Наиболее распространен диапазон шка­лы оценок от 0 до 1,0, до 5,0, до 10.0, до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в сло­весной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большего удобства обработки результа­тов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

    Указанный метод используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего часто не бывает.

    Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

    При парном сравнении эксперт сопоставляет исследуемые объек­ты по их важности попарно, устанавливая в каждой паре наиболее важный.

    Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необ­ходима последующая обработка результатов сравнения. Все возмож­ные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 — объект 2, объект 2 — объект 3 и т.д.) или в форме матрицы.

    Наиболее удобно осуществлять парные сравнения и их обработ­ку, используя в качестве инструмента матрицы.

    При большом количестве исследуемых объектов на результаты парного сравнения могут влиять психологические факторы, то есть предпочтение порой получает тот объект, который в перечне пар записан первым или находится выше по расположению в матрице. По­этому для исключения психологического влияния иногда проводят двойное парное сравнение, то есть парное сравнение при обратном расположении объектов и соответственно объектов в каждой паре.

    Метод парных сравнений очень прост и позволяет исследовать большое количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

    Сущность метода последовательною сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шка­ле от 0 до I (как метод оценивания). Причем самому важному объек­ту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, то есть от 1 до 0. Далее эксперт решает, будет ли важ­ность объекта, имеющего ранг 1. больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки пер­вого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

    Величины оценок второго, третьего и последующих объектов по важности определяются последовательно, аналогично оценке перво­го, наиболее важного объекта.

    Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно когда количество исследуемых объектов более шести-семи.

    Мнения экспертов подвергаются как количественной (численных данных), так и качественной (содержательной информации) обработ­ке. При этом используются различные способы. При наличии числен­ных данных для решения вопросов, имеющих достаточный информа­ционный материал, в основном применяются методы усреднения экс­пертных суждений. Однако при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СУ) на­ряду с количественными методами обработки экспертных данных используются также и методы качественного анализа и синтеза.

    При рассмотренных экспертных методах (рангов и др.) мнения эк­спертов часто совпадают не полностью. Поэтому необходимо количе­ственно оценивать меру согласованности мнений экспертов и выяв­лять причины несовпадения суждений. Мера согласованности опреде­ляется на основе статистических данных всей группы экспертов.

    Для ее оценки используются, как правило, коэффициенты конкордации — дисперсионный и энтропийный.

    Дисперсионный коэффициент конкордации принимает значения от О до 1. При 0 нет согласованности между мнениями экспертов, при 1 — согласованность полная. Если дисперсионный коэффициент конкор­дации больше 0,5, согласованность обычно считается достаточной.

    Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1: при большей величине коэффициента — большая мера согласованности.

    Когда мнения экспертов различаются незначительно, указанные выше коэффициенты дают примерно одинаковую меру согласован­ности. Однако при существенных различиях величины коэффициен­тов будут существенно отличаться. Таким образом, совместный ана­лиз коэффициентов позволяет объективно определить меру согласо­ванности мнений экспертов.

    Применение рассмотренных экспертных методов доказало свою эффективность при исследованиях и проектировании СУ, причем наи­больший эффект достигается при одновременном использовании не­скольких методов.

    К разновидности экспертного метода можно отнести социологи­ческий, который основан на опросе, сборе и анализе мнений респон­дентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной фор­ме — распространением анкет либо устно (на конференциях, аукцио­нах, выставках, в учебных заведениях и т.п.). При использовании это­го метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.

    Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому при сбо­ре и обработке результатов экспертной и социологической информа­ции необходимо широко использовать компьютерную технику. Воз­можности для этого есть, так как автоматизация обработки резуль­татов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

    Вопросы и задания для повторения

    1. Какими особенностями обладает метол системного анализа СУ?

    2. Какие теоретические методы могут использоваться при прове­дении исследования СУ?

    3. Какие эмпирические методы могут использоваться при прове­дении исследования СУ?

    4. В чем заключается сущность диагностического анализа СУ?

    5. Какова сущность корреляционного метода исследования СУ?

    6. В чем заключается сущность метода «дерева» целей?

    7. Постройте «дерево» целей своей организации.

    8. Какие экспертные методы являются наиболее предпочтитель­ными для исследования СУ?

    9. В чем заключается сущность метода парных исследований?

    10. Какими показателями можно оценить согласованность мнений экспертов?
    1   2   3   4   5   6   7   8   9   10   11


    написать администратору сайта