Главная страница
Навигация по странице:

  • 2.3 Виды оценки, цели и задачи оценки результативности

  • курсовое. курсовое по Квалиметрия Жалғас.Ж.Р СС-12ОдК. Квалиметрия и управление качеством


    Скачать 43.02 Kb.
    НазваниеКвалиметрия и управление качеством
    Анкоркурсовое
    Дата03.05.2022
    Размер43.02 Kb.
    Формат файлаdocx
    Имя файлакурсовое по Квалиметрия Жалғас.Ж.Р СС-12ОдК.docx
    ТипКурсовая
    #508758
    страница2 из 3
    1   2   3

    2.2 Понятия качества, результативности и эффективности

    «Качество» можно представить как соответствие идеального образа услуги, удовлетворяющего все стороны, и реального воплощения этой услуги. Понятно, что каждый по-своему понимает «качество», у каждого будет свой идеальный образ качественной услуги. Поэтому так важно договориться об общих определениях, или стандартах качественной услуги.

    Идеальный образ качественной услуги подразумевает связанные между собой процесс, результат, сопоставимость цели и результата (результативность), достижение цели с наименьшими затратами (эффективность). При этом подразумеваются затраты разного типа как экономические, так и человеческие.

    Рассмотрим несколько терминов. Начнем с наиболее общего и наиболее сложного - эффективность. В современной теории и практике социальной работы это понятие имеет несколько значений.

    Эффективность в смысле продуктивности, производительности, экономичности - это показатель эффективности деятельности, отражающий сумму выработки на единицу затрат. Часто выражается в виде процента от идеальной продуктивности. Чем меньше ресурсов затрачено на достижение запланированных результатов, тем выше продуктивность. Это понятие нередко отождествляют с эффективностью, подразумевая экономический ее смысл. Например, продуктивность, или производительность, труда может измеряться как количество выпущенной продукции в единицу времени. Говоря об оптимизации системы социальной поддержки населения, подразумевают более эффективное управление ресурсами, которое бы позволило повысить работоспособность системы при уменьшении затрат.

    Эффективность в смысле действенности - это способность производить эффект (результат) неких действий, которая не всегда может быть измерена при помощи количественных показателей.

    Эффективность в смысле результативности, оптимальности - это способность производить намеченный результат в желаемом объеме, может выражаться мерой (процентное соотношение) фактически произведенного результата к нормативному/запланированному (например, в этом смысле говорят об эффективности вакцины или вакцинации). Эта мера фокусируется на достижении как таковом, а не на ресурсах, затраченных на достижение желаемого эффекта. Отметим: то, что дает какой-то результат, не обязательно будет оптимальным, а то, что оптимально, не обязательно будет экономично. Только сочетание всех этих параметров означает эффективность в полном смысле этого слова.

    Качество и эффективность социального обслуживания это две стороны одной медали. Социальное обслуживание, которое осуществляется профессионально, приносит ощутимую пользу тем, для кого оно предназначается, и положительно ими оценивается, является качественным. А если оно к тому же осуществляется в рамках запланированных ресурсов и целей, ожидаемые результаты получены, то значит, услуга оказана эффективно.

    Оценка эффективности социальных служб подразумевает следующие разновидности:

    1) оценка качества обычно ее еще называют «контроль качества» или «обеспечение качества» ;

    2) оценка экономичности;

    3) оценка действенности;

    4) оценка результативности.

    Нередко все эти элементы объединяются в комплексную оценку, которая, к тому же предполагает оценку всей организации в целом, оценку отдельных ее программ, компонентов программ, сотрудников и оценку работы с конкретными клиентами.

    В узком смысле «эффективность» означает достижение наибольшего соответствия целей и полученных результатов при наименьших затратах. Использование экономических доказательств эффективности социальной работы или социального обслуживания является важным, но далеко не единственным приемом оценки.

    Критерии эффективности социального обслуживания носят комплексный характер. С одной стороны, они представляют собой систему стандартов и нормативных показателей, отражающих эффективность процесса социального обслуживания, с другой стороны систему показателей, отражающих количественные и качественные индикаторы социально-экономического, психологического и иного состояния отдельных личностей, семьи в целом, социальной группы.

    Эффективность деятельности учреждений социального обслуживания определяется, исходя из таких показателей, как развитие сети учреждений, качество предоставленных услуг, состояние и использование материальных и людских (кадровых) ресурсов, отношение результата и затрат.

    Для использования категорий качества, эффективности и результативности в практической деятельности введем для каждой из них набор конкретных параметров, выражающих ключевые характеристики, пригодные для построения измерительных инструментов (анкет, статистических показателей, сводных индексов).

    Качество услуги понимается как степень соответствия полезных свойств услуги потребностям и предпочтениям потребителей и включает следующие параметры:

    -полнота предоставления в соответствии с требованиями (стандартами);

    -доступность;

    -своевременность;

    - эффективность и результативность предоставления услуги.

    Эффективность услуги определяется как степень успешности деятельности по достижению цели с наибольшей экономией затрат, т.е. до какой степени услуга способствовала своевременному и объективному решению стоящих перед клиентами проблем с наименьшими затратами ресурсов разного рода. Результативность включает следующие параметры: степень решения материальных или финансовых проблем клиента, оцениваемая непосредственным контролем результатов выполнения услуги; степень улучшения эмоционального, физического состояния клиента, решения его правовых, бытовых и других проблем в результате взаимодействия с исполнителем услуги, оцениваемая косвенным методом, при участии клиента в оценке качества услуги.

    Социальное обслуживание, которое осуществляется профессионально, приносит ощутимую пользу тем, для кого оно предназначается, и положительно ими оценивается, является качественным. А если оно к тому же осуществляется в рамках запланированных ресурсов и целей, приводит к достижению заранее определенного ожидаемого результата, то значит, деятельность проведена эффективно.

    В построении критериев эффективности, результативности и качества учитывают содержание целевых и ценностных установок, задаваемых организацией, ведомством или рамками профессии. Сама идея оценки качества, эффективности, результативности, разработки стандартов и критериев услуг базируется на определенной системе ценностей, на идеологии, которая называется «неолиберализм».

    Одна из идей неолиберальной системы социальной политики состоит в том, что в социальные сервисы образование, здравоохранение, социальную защиту проникают принципы и приемы бизнес-менеджмента, так называемой контрактной, проектной культуры. Предполагается, что четкость управления и исполнения задач, подотчетность и подконтрольность повысят эффективность социальной политики, позволят сэкономить ресурсы, выделяемые на социальную сферу, помогут достичь больших результатов при меньших затратах. Однако не всегда подобные стремления можно увязать воедино с гуманистическими ценностями профессий психолога, социального работника, педагога, чьи усилия и достижения порой довольно трудно оценить в количественных терминах производительности труда, выработки и стоимости. Почему трудно оценивать качество, эффективность и результативность социальных услуг?

    * Заявительный принцип оказания услуг затрудняет возможность оценить степень охвата целевой группы

    * Социальные услуги не могут быть полностью формализованы, что затрудняет разработку прозрачных и четких критериев оценки

    * Многообразные внешние условия могут повышать или снижать вероятность положительных изменений

    * Изменения в жизни людей нередко носят отсроченный характер по отношению к времени оказания услуги

    В соответствии с Федеральным законом от 10 декабря 1995 года № 195-ФЗ «Об основах социального обслуживания населения в Российской Федерации» социальная услуга определяется как действие по оказанию отдельным категориям граждан помощи, предусмотренной действующим законодательством. Также закон определяет виды услуг: социально-бытовые, социально-медицинские, психолого-педагогические, социально-правовые, ограничивая их предоставление критерием наличия трудной жизненной ситуации.

    Трудная жизненная ситуация определяется как ситуация, объективно нарушающая жизнедеятельность гражданина и которую он не может преодолеть самостоятельно. Таким образом, базовый закон трактует оказание услуги как предоставление помощи в трудной жизненной ситуации.

    Социальное обслуживание населения Федеральным законом № 122 отнесено к исключительному ведению субъекта Российской Федерации, что предполагает регулирование этой деятельности на уровне региональных нормативно-правовых актов. Базовый закон Саратовской области от 10 января 2000 года № 7-ЗСО (с изменениями от 28 апреля 2005 года) транслирует норму федерального закона и фиксирует одну из форм социальной защиты как «помощь в виде услуг». Закон определяет (ст. 33) виды социальных услуг, исходя из их понимания как помощи. Формулировки видов социальных услуг носят обобщенный характер (предоставление социально-экономической, психолого-педагогической, медико-социальной, юридической помощи семьям с детьми) и в ряде случаев отражают не содержание услуги, а ее форму (консультации по телефону

    Аналогичный подход к определению социальных услуг как неформализованной помощи или функциональных задач учреждения закреплен и в других нормативных документах федерального и регионального уровней, определяющих вопросы социального обслуживания населения. Обобщенные формулировки услуг характерны и для уставов учреждений социального обслуживания всех типов.

    В 2004 году вступили в силу два национальных стандарта: «Основные виды социальных услуг» (ГОСТ 52143-2003) и «Качество социальных услуг» (ГОСТ52142-2003), закрепившие стандартный перечень видов социальных услуг и требования к обеспечению их качества. Как и действующие законы, данные стандарты определяют услуги как помощь и всестороннюю поддержку граждан в трудной жизненной ситуации. Кроме того, ГОСТ 52142 использует термин «помощь населению в получении услуг, предоставляемых социальными службами», запутывая вопрос определения социальной услуги окончательно.

    Широкое использование понятия «социальная услуга как помощь в преодолении или совладании с трудной жизненной ситуацией» в нормативных актах, инструкциях и регламентах деятельности приводит к произволу в определении содержания услуги и определении ее результата со стороны учреждений и специалистов, резко ограничивает возможности по переходу от оценки результативности учреждения «по валу» к оценке «по результату». Федеральный закон «О защите прав потребителей» требует от учреждений, оказывающих услуги, наличия полного перечня оказываемых услуг и документов, регламентирующих качество услуг. В связи с этим вопрос определения социальной услуги и ее выделения из общего процесса деятельности учреждения как организационно-процессуальной единицы представляется наиболее существенным в аспекте оценки результативности и качества социальных услуг.

    В целях определения критериев и показателей результативности социальных услуг необходимо четко дифференцировать понятия «обслуживание» и «услуга» или «процесс обслуживания» и «процесс оказания услуги». Наиболее остро данный вопрос стоит при разработке стандартов услуг, то есть «стандарта услуги» или «стандарта обслуживания». Смешение этих понятий как раз и приводит к растворению услуги как действия, направленного на заданный результат, в текущем процессе обслуживания, который, как правило, не имеет четко заданного результата и определяет в большинстве случаев условия предоставления услуги. Применительно к проблеме качества «обслуживания» или «услуги» вопрос их дифференциации представляется более сложным. Качество «обслуживания», кроме удовлетворения потребности во внимании, удобстве, безопасности и других, опосредованно определяет и качество самой «услуги». В данном случае речь идет об «обслуживании» как условиях оказания «услуги».

    В практике оказания социальных услуг возможно выделение видов услуг в зависимости от времени оказания услуги и ее комплексности. Единовременные услуги оказываются в форме локального действия в течение фиксированного (регламентированного) периода времени.

    Долговременные услуги оказываются в форме повторяющихся действий в течение определенного времени и представляют собой или периодическое предоставление одной и той же услуги, или некоторого комплекса разных услуг. Простая услуга осуществление действий специалиста, приводящих к наступлению объективно фиксируемого результата. Сложная услуга оказывается одним или несколькими специалистами и не приводит к немедленному результату и может иметь фиксируемые промежуточные результаты. К сложным услугам можно отнести психологические и реабилитационные услуги. Комплекс услуг последовательное предоставление набора услуг, направленных на удовлетворение нескольких или одной потребности за счет комплекса действий. В рамках социально-бытовых услуг колка дров может рассматриваться как единовременная простая услуга, приготовление пищи представляет собой долговременную простую услугу, а уборка жилья вместе с покупкой продуктов и приготовлением пищи комплексная услуга.

    С нашей точки зрения, «услуга» как единица деятельности учреждения должна полностью покрывать функциональное поле учреждения, если исходить из клиентской ориентации деятельности. В этом случае дифференциация учреждений и их специализация обеспечивается за счет конечного перечня оказываемых услуг и, соответственно, клиентской специализации. Клиентская специализация учреждений социальной защиты отличает эту сферу услуг от всех других, где специализация осуществляется на основе видов услуг. Исходя из концепции клиентоориентированной социальной услуги, определим «услугу», оказываемую учреждениями социальной защиты как совершение специалистом (группой специалистов) специализированного учреждения определенной последовательности действий и (или) принятие определенных решений для обеспечения прав и удовлетворения потребностей человека, который ограничен в своих возможностях сделать (делать) это самостоятельно. Очевидно, что такое понимание услуги, включает понятия «помощь», «содействие», но в отличие от последних позволяет определить конечный результат услуги и его качественно-количественные характеристики. Если рассматривать достаточно распространенный вид социальных услуг социально-бытовые услуги, то услуга, определяемая в нормативных актах как «помощь в приготовлении пищи» получает новый смысл обеспечение потребности человека в получении качественной пищи в соответствии с определенными медицинскими нормами и индивидуальными особенностями (диета, национальные особенности, территориальная специфика питания и т.д.). Отсюда рассчитываются количество услуг, их длительность и периодичность, определяются требования к социальному работнику, который оказывает данную услугу.

    Действующее законодательство практически не ограничивает возможности учреждения формулировать, оказываемые им услуги как функциональные единицы деятельности. Однако существующие практики оказания услуг и наличная нормативная база не оказывают стимулирующего действия на процесс выделения услуг из общего процесса, который определяется как «обслуживание». Соответствующие ограничения вводятся и самим клиентом, который в меньшей степени ориентируется на конкретную услугу, а в большей на содействие в компенсации или устранении субъективных или объективных условий, ограничивающих его возможности в удовлетворении потребностей.

    В большинстве случаев в учреждениях социальной защиты при обращении клиента (или его представителя) формируется социальная карта клиента, в которой фиксируется наличная жизненная ситуация и определяются средства (услуги) для устранения или компенсации имеющихся ограничений жизнедеятельности и гражданских прав. Социальная карта клиента сегодня не является технологическим планом обслуживания, что представляется принципиально важным. Технологический план обслуживания это инструмент планирования и управления процессом предоставления услуг. В технологическом плане, кроме того, должны быть обозначены цели оказания услуг и действия, необходимые для их достижения.

    Так как план представляет собой документ, создаваемый совместно клиентом и социальным работником, его можно рассматривать как разновидность контракта. Существующая форма договора, заключаемого в настоящее время между клиентом и учреждением на надомное обслуживание, использует обобщенные, в соответствии с базовыми законами, формулировки услуг без определения их результатов и параметров качества.

    Наиболее существенной функцией технологического плана является обеспечение контроля за предоставлением клиенту именно тех услуг, что определены, а не ее варианты. Варианты могут осуществляться как уменьшение объемов услуги, сокращение периодичности, уменьшение полноты услуги, несоответствие квалификации специалиста требованиям качества услуги. Например, клиент должен получать трехразовое питание в рамках программы доставки обедов на дом, а получает только двухразовое. Другой вариант приготовление бутербродов вместо приготовления горячего обеда. Психологическое консультирование как услуга, реализуемая специалистом-психологом, может заменяться разговором с социальным работником, осуществляющим надомное обслуживание.

    Обеспечение качества и результативности социальных услуг является многофакторной и комплексной проблемой, решение которой возможно лишь при наличии действующей системы управления качеством услуг, обеспечивающей контроль всех компонентов оказания услуги, в рамках единой системы социального обслуживания населения.

    Сегодня мы можем говорить о единой региональной системе социального обслуживания, что определяет федеральное законодательство. Вопросы же системного контроля и управления качеством пока не явились предметом нормативного регулирования, если не считать трансляцию действующего ГОСТа 52142-2003 в региональные нормативные акты.

    2.3 Виды оценки, цели и задачи оценки результативности

    Существует целый ряд видов оценки, в зависимости от целей ее проведения, метода и условий: оценка потребностей, анализ затрат и выгод, оценка процесса реализации, оценка результативности, анализ эффективности, оценка продуктивности, оценка влияния.

    -Оценка эффективности программы сопоставление результатов программы с затраченными в ходе ее реализации ресурсами.

    -Оценка результативности программы это экспертиза организационного процесса выполнения программы, анализ причин отклонений в реализации программы от намеченных изначально целей.

    Необходимо отметить, что оценка отличается от ревизии, проверки или экзамена, которых опасаются, видя в них опасные для сотрудников последствия, связанные с возможными наказаниями, выговорами или другими административными мерами. От недостатков не застрахована ни одна организация, но оценки, наряду со слабыми местами, позволяют выявить ресурсы, точки роста, удачи и достижения. Кроме того, ведь если не исследовать деятельность, то промахи трудно выявить, а следовательно, невозможно исправить.

    Оценка деятельности организации, по определению А. Бодунгена, это процесс определения того, насколько организация или ее отдельная программа качественно и эффективно работает, приносит ли реальную пользу.

    Показатели эффективности организации включают индикаторы, характеризующие социальную ситуацию на подведомственной территории, и показатели успешности программы.

    В отличие от оценки, текущий контроль деятельности это мониторинг, в котором отслеживается, проведены ли все запланированные мероприятия, соблюдены ли планируемые временные рамки, соответствуют ли расходы утвержденному бюджету, охвачено ли запланированное количество участников проекта. Мониторинг подразумевает систематическое измерение и учет важнейших показателей деятельности организации по оказанию услуг в соответствии с согласованными планами, ресурсами, инфраструктурой и результатами. Мониторинг фиксирует отклонения, а оценка выявляет их причины.

    Универсальной формулы проведения оценки не существует, поскольку программы и организации весьма разнообразны. Можно говорить лишь о методических подходах к проведению оценки, определяющих общие принципы и логику оценочной деятельности.

    Планировать оценку, выбирать ее параметры и способы их измерения необходимо в каждом конкретном случае отдельно.

    Прежде всего, оценка является систематической это значит, что она представляет собой исследование, выполненное в количественной (с применением статистики) или качественной (нестатистической) методологии или же использующее сочетание разных методологий. При проведении оценки необходимо правильно поставить вопросы, выбрать форму исследования, суметь собрать и проанализировать информацию, проинтерпретировать полученные данные, кроме того, нужно уметь достигать компромисс с организацией или сотрудниками программы, но в то же время быть готовым защищать до конца те моменты, по отношению к которым компромисс невозможен. К тому же, необходимо иметь навыки распространения полученных результатов с целью улучшения политики и программ готовить отчеты и оформлять их в публикации различных жанров.

    В фокусе оценки могут оказаться процесс и/или результаты социального обслуживания. Если оценка концентрируется на изучении процесса реализации программы социального обслуживания, то внимание уделяется соответствию программы предписанному плану (замыслу) или тому, что происходит. Если же цель оценки результат и эффект программы для ее бенефициариев, или благополучателей (т.е. тех людей или целевых групп, на улучшение жизни которых направлена программа), то внимание уделяется тому, какие изменения в жизни этих людей произошли. Очень часто оценивают и процесс осуществления программы, и результаты. Причем результаты, или эффекты программы могут быть как прямыми, так и побочными, ожидаемыми и неожидаемыми.

    В соответствии с тем, когда проводятся оценки, они подразделяется на предварительные, промежуточные и завершающие.

    Предварительная проводится на этапе планирования проекта, при этом оценивается еще не реализация, а предложение вашей будущей работы. Промежуточная оценка осуществляется во время исполнения программы или проекта, чтобы помочь более успешно достичь намеченных целей и привести к планируемым результатам. Эту оценку проводят также, если в ходе реализации проекта возникли проблемы, причины появления которых неясны. В данном случае говорят о диагностической оценке, которая служит возвращению проекта «на путь истинный».

    Завершающее оценивание бывает незадолго до завершения проекта или сразу же после него. Оно позволяет понять, что собой представляет проект, достигнуты ли его цели, получены ли планируемые результаты. Если же программу предполагается повторять где-либо еще, завершающая оценка поможет избежать ошибок при реализации подобных проектов в будущем.

    Можно также проводить оценку «постфактум». Она реализуется обязательно через какое-то время (скажем, через полгода или год) после того, как проект полностью завершен и можно проанализировать его воздействие. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, т.е. сохраняются ли изменения без дальнейшего воздействия со стороны проекта.

    Чаще всего проводится оценка отдельно взятого проекта, ряда проектов или целой программы, действующей на региональном или национальном уровне. В этом случае никаких сравнений с людьми или сообществами, не участвовавшими в программе, не проводится. Подобная оценка бывает двух видов: а) изучающая программу только после того, как ее долгое время осуществляли или даже завершили; б) изучающая ее как до, так и после программы.

    Собранные данные могут быть качественными или количественными. «Только после» программа оценивается в том случае, когда специалист начинает оценку уже во время осуществления программы, и у него нет данных, существовавших до ее начала. Исследования «до и после» предполагают деятельность специалиста по оценке с самого начала программы. Если специалисту довелось оценивать программу «только после» ее осуществления, то он или она делает предположение об изначальной ситуации, во-первых, изучая всевозможную документацию, записи, беседуя с участниками, во-вторых, основываясь на своем собственном опыте предыдущих исследований, изучении подобных целевых групп или организаций. Конечно, здесь возможны разнообразные искажения.

    Для того, чтобы оценка была объективной, она не должна зависеть только от мнения руководителей или единичных экспертов. Важным средством сохранения объективности является выяснение мнения потребителей услуг и привлечение независимых специалистов, не имеющих личной или профессиональной заинтересованности в результатах оценки

    Система целостного обеспечения качества, с 1990-х годов применяемая за рубежом, означает, что в оценивании качества обслуживания должны принимать участие все заинтересованные субъекты: это заказчик, или покупатель (включая ведомство или министерство), поставщик (учреждение социальной защиты), а также конкретные исполнители администраторы, сотрудники, кроме того, это клиенты социальных служб и местное сообщество, которое может испытывать непосредственные положительные и негативные эффекты от деятельности учреждений и организаций социальной поддержки.

    Оценка результативности социального обслуживания позволяет выявить, какие именно факторы сыграли ключевую роль в достижении конкретного результата, а какие оказались несущественными. Это позволит перенаправить в случае необходимости ресурсы организации или отдела в направлении более важных факторов. Если же роль внешних факторов окажется преобладающей, то можно будет переформулировать цели и перенаправить ресурсы на их достижение. Оценка результативности направлена не только на анализ достигнутого, но и на сам процесс реализации социального обслуживания. Такая оценка включает следующие этапы: постановка цели оценки, планирование оценки, сбор и анализ данных, дальнейшее их использование.

    Ключевая задача любой оценки улучшить работу проекта, программы или организации, сделать ее деятельность более эффективной и полезной. Наиболее часто подвергаются оцениванию финансовая эффективность, устойчивость и результаты проекта или организации, а также эффективность управления и методология.

    Иными словами, необходимо отслеживать воздействие проекта на целевые группы «благополучателей», или клиентов. Кроме того, для повышения эффективности деятельности организации важно уделять внимание не только соответствию первоначальному плану мероприятий, но отслеживать причины успеха и неудач, чтобы повлиять в дальнейшем на управленческие решения. Для этого следует еще на этапе написания заявки продумать и включить в проект четкие показатели его эффективности в долгосрочной перспективе: вызовет ли запланированный цикл мероприятий желаемые изменения. По итогам выполнения проекта, программы обслуживания или какого-то ее этапа важно оценить результаты относительно данных показателей: например, изменилось ли у школьников после проведенного тренинга по вопросам инвалидности их отношение к людям с инвалидностью и их проблемам.

    Для тех, кто будет использовать результаты оценивания, важно понимать не только что и почему произошло, но и что нужно делать. Вот почему непосредственно после оценки проделанного следует этап корректировки планов.

    В том случае, когда деятельность организации в целом или отдельные проекты направлены на предоставление конкретных услуг, желательно представить «истории» о конкретных людях, чья жизнь изменилась в результате осуществления проекта. Ведь отчеты только по результатам, описанным в заявке, как правило, отражают проведение запланированных мероприятий и не демонстрируют, изменилась ли как-либо ситуация для целевой группы после реализации проекта. Для повышения эффективности деятельности организации важно уделять внимание не только соответствию первоначальному плану мероприятий, но отслеживать причины успеха и неудач, чтобы повлиять в дальнейшем на управленческие решения. Для человека, управляющего социальной службой, учреждением или возглавляющего программу, проект, оценка дает жизненно важную информацию о том, какие именно компоненты оказания услуг работают эффективно, а какие требуют реорганизации, модификации или отмены.

    Например, при использовании новых механизмов предоставления услуг системы поиска и отбора клиентов, схемы оплаты, структуры и графика предоставления той или иной услуги грамотно проведенная оценка поможет выявить погрешности или улучшить механизмы предоставления услуг, добиваясь их большей эффективности и меньшей затратности.
    1   2   3


    написать администратору сайта