матан. Основные понятия математической статистики. Задачи. Этапы статистического исследования
 Скачать 0.56 Mb.
|
1 2 Введение Математическая статистика — наука о математических методах систематизации и использования статистических данных для научных и практических выводов. Во многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надежность и точность выводов, делаемых на основании ограниченного статистического материала (например, оценить необходимый объем выборки для получения результатов требуемой точности при выборочном обследовании). В теории вероятностей рассматриваются случайные величины с заданным распределением или случайные эксперименты, свойства которых целиком известны. Предмет теории вероятностей — свойства и взаимосвязи этих величин (распределений). Но часто эксперимент представляет собой черный ящик, выдающий лишь некие результаты, по которым требуется сделать вывод о свойствах самого эксперимента. Наблюдатель имеет набор числовых (или их можно сделать числовыми) результатов, полученных повторением одного и того же случайного эксперимента в одинаковых условиях. При этом возникают, например, следующие вопросы: Если мы наблюдаем одну случайную величину — как по набору ее значений в нескольких опытах сделать как можно более точный вывод о ее распределении? Образцом такой серии экспериментов может служить социологический опрос, набор экономических показателей или, наконец, последовательность гербов и решек при тысячекратном подбрасывании монеты. Все вышеприведенные факторы обуславливают актуальность и значимость тематики работы на современном этапе, направленной на глубокое и всестороннее изучение основных понятий математической статистики. В связи с этим целью данной работы является систематизация, накопление и закрепление знаний о понятиях математической статистики. Основные понятия математической статистики. Задачи. Этапы статистического исследования Основные понятия математической статистики Математическая статистика — раздел прикладной математики, непосредственно примыкающий к теории вероятностей. Основное отличие математической статистики от теории вероятностей состоит в том, что в математической статистике рассматриваются не действия над законами распределения и числовыми характеристиками случайных величин, а приближенные методы отыскания этих законов и числовых характеристик по результатам экспериментов. Основными понятиями математической статистики являются: 1. генеральная совокупность; 2. выборка; 3. вариационный ряд; 4. мода; 5. медиана; 6. процентиль; 7. полигон частот; 8. гистограмма. Генеральная совокупность (от лат. generis — общий, родовой) (в англ. терминологии — population) — совокупность всех объектов (единиц), относительно которых предполагается делать выводы при изучении конкретной задачи. Генеральная совокупность состоит из всех объектов, которые имеют качества, свойства, интересующие исследователя. Иногда генеральная совокупность — это всё взрослое население определённого региона (например, когда изучается отношение потенциальных избирателей к кандидату), чаще всего задаётся несколько критериев, определяющих объекты исследования. Например, женщины 10—89 лет, использующие крем для рук определённой марки не реже одного раза в неделю, и имеющие доход не ниже 5 тысяч рублей на одного члена семьи. Выборка или выборочная совокупность — часть генеральной совокупности элементов, которая охватывается экспериментом (наблюдением, опросом). Характеристики выборки: Качественная характеристика выборки — что именно мы выбираем и какие способы построения выборки мы для этого используем. Количественная характеристика выборки — сколько случаев выбираем, другими словами объём выборки. Необходимость выборки: Объект исследования очень обширный. Например, потребители продукции глобальной компании — огромное количество территориально разбросанных рынков. Существует необходимость в сборе первичной информации. Выборка может рассматриваться в качестве репрезентативной или нерепрезентативной. Выборка будет репрезентативной при обследовании большой группы людей, если внутри этой группы есть представители разных подгрупп, только так можно сделать верные выводы. Вариационным рядом (статистическим рядом) – называется последовательность вариант, записанных в порядке возрастания и соответствующих им весов. Выделяют три формы вариационного ряда: ранжированный ряд, дискретный ряд и интервальный ряд. Ранжированный ряд – это распределение отдельных единиц совокупности в порядке возрастания или убывания исследуемого признака. Ранжирование позволяет легко разделить количественные данные по группам, сразу обнаружить наименьшее и наибольшее значения признака, выделить значения, которые чаще всего повторяются. Другие формы вариационного ряда – групповые таблицы, составленные по характеру вариации значений изучаемого признака. По характеру вариации различают дискретные (прерывные) и непрерывные признаки. Дискретный ряд – это такой вариационный ряд, в основу построения которого положены признаки с прерывным изменением (дискретные признаки). К последним можно отнести тарифный разряд, количество детей в семье, число работников на предприятии и т.д. Эти признаки могут принимать только конечное число определенных значений. Дискретный вариационный ряд представляет таблицу, которая состоит из двух граф. В первой графе указывается конкретное значение признака, а во второй - число единиц совокупности с определенным значением признака. Если признак имеет непрерывное изменение (размер дохода, стаж работы, стоимость основных фондов предприятия и т.д., которые в определенных границах могут принимать любые значения), то для этого признака нужно строить интервальный вариационный ряд. Групповая таблица здесь также имеет две графы. В первой указывается значение признака в интервале «от - до» (варианты), во второй - число единиц, входящих в интервал (частота). Частота (частота повторения) – число повторений отдельного варианта значений признака, обозначается fi, а сумма частот, равная объему исследуемой совокупности, обозначается  где k - число вариантов значений признака очень часто таблица дополняется графой, в которой подсчитываются накопленные частоты S, которые показывают, какое количество единиц совокупности имеет значение признака не большее, чем данное значение. Частоты ряда f могут заменяться частностями w, выраженными в относительных числах (долях или процентах). Они представляют собой отношения частот каждого интервала к их общей сумме, т.е.:   (7.1)При построении вариационного ряда с интервальными значениями прежде всего необходимо установить величину интервала i, которая определяется как отношение размаха вариации R к числу групп m:  (7.2)где R = xmax - xmin; m = 1 + 3,322 lgn (формула Стерджесса); n - общее число единиц совокупности. Модой (Мо) называют значение признака, которое встречается наиболее часто у единиц совокупности. Для дискретного ряда модой будет являться вариант с наибольшей частотой. Для определения моды интервального ряда сначала определяют модальный интервал (интервал, имеющий наибольшую частоту). Затем в пределах этого интервала находят то значение признака, которое может являться модой. Чтобы найти конкретное значение моды, необходимо использовать формулу  (7.5)где xМо - нижняя граница модального интервала; iМо - величина модального интервала; fМо - частота модального интервала; fМо-1 - частота интервала, предшествующего модальному; fМо+1 - частота интервала, следующего за модальным. Мода имеет широкое распространение в маркетинговой деятельности при изучении покупательского спроса, особенно при определении пользующихся наибольшим спросом размеров одежды и обуви, при регулировании ценовой политики. Медиана (Ме) - это величина, которая соответствует варианту, находящемуся в середине ранжированного ряда. Для ранжированного ряда с нечетным числом индивидуальных величин (например, 1, 2, 3, 3, 6, 7, 9, 9, 10) медианой будет величина, которая расположена в центре ряда, т.е. пятая величина. Для ранжированного ряда с четным числом индивидуальных величин (например, 1, 5, 7, 10, 11, 14) медианой будет средняя арифметическая величина, которая рассчитывается из двух смежных величин. Для нашего случая медиана равна (7+10): 2= 8,5. То есть для нахождения медианы сначала необходимо определить ее порядковый номер (ее положение в ранжированном ряду) по формуле  (7.3)где n - число единиц в совокупности. Численное значение медианы определяют по накопленным частотам в дискретном вариационном ряду. Для этого сначала следует указать интервал нахождения медианы в интервальном ряду распределения. Медианным называют первый интервал, где сумма накопленных частот превышает половину наблюдений от общего числа всех наблюдений. Численное значение медианы обычно определяют по формуле  (7.4)где xМе - нижняя граница медианного интервала; i - величина интервала; S-1 - накопленная частота интервала, которая предшествует медианному; f - частота медианного интервала. Процентиль — мера, в которой процентное значение общих значений равно этой мере или меньше ее. Например, 90 % значений данных находятся ниже 90-го процентиля, а 10 % значений данных находятся ниже 10-го процентиля Полиго́н часто́т (в математической статистике) — один из способов графического представления плотности вероятности случайной величины. Представляет собой ломаную, соединяющую точки, соответствующие срединным значениям интервалов группировки и частотам этих интервалов (приложение 5). Гистограммой частот называют ступенчатую фигуру, состоящую из прямоугольников, основаниями которых служат частичные интервалы длиной h, а высоты равны отношению ni / h (плотность частоты). Для построения гистограммы частот на оси абсцисс откладывают частичные интервалы, а над ними проводят отрезки, параллельные оси абсцисс на расстоянии ni / h. Площадь i - го частичного прямоугольника равна hni / h = ni - сумме частот вариант i - го интервала; следовательно, площадь гистограммы частот равна сумме всех частот, т.е. объему выборки. Гистограммой относительных частот называют ступенчатую фигуру, состоящую из прямоугольников, основаниями которых служат частичные интервалы длиной h, а высоты равны отношению Wi / h (плотность относительной частоты). Для построения гистограммы относительных частот на оси абсцисс откладывают частичные интервалы, а над ними проводят отрезки, параллельные оси абсцисс на расстоянии Wi / h (приложение 4). Площадь i - го частичного прямоугольника равна hWi / h = Wi - относительной частоте вариант, попавших в i - й интервал. Следовательно, площадь гистограммы относительных частот равна сумме всех относительных частот, т.е. единице. Задачи математической статистики Все задачи математической статистики касаются вопросов обработки наблюдений над массовыми случайными явлениями, но в зависимости от характера решаемого практического вопроса и от объема имеющегося экспериментального материала эти задачи могут принимать ту или иную форму. Задача определения закона Распределения случайной величины (или системы случайных величин) по статистическим данным. Закономерности, наблюдаемые в массовых случайных явлениях, проявляются тем точнее и отчетливее, чем больше объем статистического материала. При обработке обширных по своему объему статистических данных часто возникает вопрос об определении законов распределения тех или иных случайных величин. Теоретически при достаточном количестве опытов свойственные этим случайным величинам закономерности будут осуществляться сколь угодно точно. На практике нам всегда приходится иметь дело с ограниченным количеством экспериментальных данных; в связи с этим результаты наших наблюдений и их обработки всегда содержат больший или меньший элемент случайности. Возникает вопрос о том, какие черты наблюдаемого явления относятся к постоянным, устойчивым и действительно присущи ему, а какие являются случайными и проявляются в данной серии наблюдений только за счет ограниченного объема экспериментальных данных. Естественно, к методике обработки экспериментальных данных следует предъявить такие требования, чтобы она, по возможности, сохраняла типичные, характерные черты наблюдаемого явления и отбрасывала все несущественное, второстепенное, связанное с недостаточным объемом опытного материала. В связи с этим возникает характерная для математической статистики задача сглаживания или выравнивания статистических данных, представления их в наиболее компактном виде с помощью простых аналитических зависимостей. 2. Задача проверки правдоподобия гипотез Эта задача тесно связана с предыдущей; при решении такого рода задач мы обычно не располагаем настолько обширным статистическим материалом, чтобы выявляющиеся в нем статистические закономерности были в достаточной мере свободны от элементов случайности. Статистический материал может с большим или меньшим правдоподобием подтверждать или не подтверждать справедливость той или иной гипотезы. Например, может возникнуть такой вопрос: согласуются ли результаты эксперимента с гипотезой о том, что данная случайная величина подчинена закону распределения  . Другой подобный вопрос: указывает ли наблюденная в опыте тенденция к зависимости между двумя случайными величинами на наличие действительной объективной зависимости между ними или же она объясняется случайными причинами, связанными с недостаточным объемом наблюдений? Для решения подобных вопросов математическая статистика выработала ряд специальных приемов.3. Задача нахождения неизвестных параметров распределения Часто при обработке статистического материала вовсе не возникает вопрос об определении законов распределения исследуемых случайных величин. Обыкновенно это бывает связано с крайне недостаточным объемом экспериментального материала. Иногда же характер закона распределения качественно известен до опыта, из теоретических соображений; например, часто можно утверждать заранее, что случайная величина подчинена нормальному закону. Тогда возникает более узкая задача обработки наблюдений – определить только некоторые параметры (числовые характеристики) случайной величины или системы случайных величин. При небольшом числе опытов задача более или менее точного определения этих параметров е может быть решена; в этих случаях экспериментальный материал содержит в себе неизбежно значительный элемент случайности; поэтому случайными оказываются и все параметры, вычисленные на основе этих данных. В таких условиях может быть поставлена только задача об определении так называемых «оценок» или «подходящих значений» для искомых параметров, т.е. таких приближенных значений, которые при массовом применении приводили бы в среднем к меньшим ошибкам, чем всякие другие. С задачей отыскания «подходящих значений» числовых характеристик тесно связана задача оценки их точности и надежности. Этапы статистического исследования 1 этап. Составление плана и программы исследования — является подготовительным, на нем определяется цель и задачи исследования, составляется план и программа исследования, разрабатывается программа сводки статистического материала и решаются организационные вопросы. А) цель и задачи исследования должны быть четко сформулированы; цель определяет основное направление исследования и носит, как правило, не только теоретический, но и практический характер, она формулируется ясно, четко, недвусмысленно; для раскрытия поставленной цели определяются задачи исследования. Б) необходимо изучить по данной теме литературу. В) необходимо разработать организационный план - предусматривает определение 1) места (административно-территориальных границ наблюдения) 2) времени (конкретных сроков осуществления наблюдения, проведения разработки и анализа материала) и 3) субъекта исследования (организаторов, исполнителей, методического и организационного руководства, источников финансирования исследования). Г) разработка плана исследования — включает определение: — объекта исследования (статистической совокупности); — объема исследования (сплошное, не сплошное); — видов (текущее, единовременное); — способов сбора статистической информации. Д) необходимо составить пограмму исследования (наблюдения) — включает: — определение единицы наблюдения; — перечень вопросов (учетных признаков), подлежащих регистрации в отношении каждой единицы наблюдения — разработку индивидуального учетного (регистрационного) бланка с перечнем вопросов и признаков, подлежащих учету; — разработку макетов таблиц, в которые затем вносятся результаты исследования. Е) необходимо составить программу сводки полученных данных, которая включает установление принципов группировки, выделение группированных признаков, определение комбинаций этих признаков, составление макетов статистических таблиц. 2 этап. Сбор материала (статистическое наблюдение) — заключается в регистрации отдельных случаев изучаемого явления и характеризующих их учетных признаков в регистрационные бланки. Перед и в ходе выполнения этой работы проводится инструктаж (устный или письменный) исполнителей наблюдения, обеспечение их формами регистрации. 3 этап. Разработка материала, статистическая группировка и сводка — начинается с проверки и уточнения числа наблюдений, Полноты и правильности полученных сведений, Выявлении и устранении ошибок, дубликатов записей и т. д. Группировка — расчленение совокупности изучаемых данных на однородные, Типичные группы по наиболее существенным признакам. Группировка может проводиться по качественным и количественным признакам. 4 этап. Статистический анализ изучаемого явления, формулировка выводов — ответственный этап исследования, на котором проводится вычисление статистических показателей (частоты, Структуры, Средних размеров изучаемого явления), дается их графическое изображение, Изучается динамика, Тенденции, устанавливаются связи между явлениями. Анализ предполагает интерпретацию полученных данных, оценку достоверности результатов исследования. В заключение делаются выводы. 5 этап. Литературная обработка и оформление полученных результатов — является заключительным, предполагает окончательное оформление результатов статистического исследования. Результаты могут быть оформлены в виде статьи, отчета, доклада, Диссертации и др. Для каждого вида оформления существуют определенные требования, Которые должны соблюдаться при литературной обработке результатов статистического исследования. Санитарная (медицинская) статистика Статистическая совокупность, ее элементы, признаки Медицинская (санитарная) статистика — изучает количественную сторону явлений и процессов, связанных с медициной, гигиеной и здравоохранением. Применением медицинской статистики является «Статистика пополнения молодых специалистов Красноярского края» (Приложение 1). «Применение статистических методов в медицине» (Приложение 2). Выделяют 3 раздела медицинской статистики: 1. Статистика здоровья населения — изучает состояние здоровья населения в целом или его отдельных групп (путем сбора и статистического анализа данных о численности и составе населения, его воспроизводстве, о естественном движении, физическом развитии, распространенности различных заболеваний, продолжительности жизни и т. д.). Оценка показателей здоровья проводится в сопоставлении с общепринятыми оценочными уровнями и уровнями, полученными по различным регионам и в динамике. 2. Статистика здравоохранения — решает вопросы сбора, обработки и анализа информации о сети учреждений здравоохранения (их размещении, оснащении, деятельности) и кадрах (о численности врачей, среднего и младшего медицинского персонала, о распределении их по специальностям, стажу работы, о их переподготовке и т. д.). При анализе деятельности лечебно-профилактических учреждений осуществляется сопоставление полученных данных с нормативными уровнями, а также уровнями, полученными по другим регионам и в динамике. 3. Клиническая статистика — это использование статистических методов при обработке результатов клинических, экспериментальных и лабораторных исследований; она позволяет с количественной точки зрения оценить достоверность результатов исследования и решить ряд других задач (определение объема необходимого числа наблюдений при выборочном исследовании, сформировать экспериментальную и контрольную группы, изучить наличие корреляционных и регрессионных связей, устранить качественную неоднородность групп и т. д.). Задачами медицинской статистики являются: 1) изучение состояния здоровья населения, анализ количественных характеристик общественного здоровья. 2) выявление связей между показателями здоровья и различными факторами природной и социальной среды, оценка влияния этих факторов на уровни здоровья населения. 3) изучение материально - технической базы здравоохранения. 4) анализ деятельности лечебно-профилактических учреждений. 5) оценка эффективности (медицинской, социальной, экономической) проводимых лечебных, профилактических, противоэпидемических мероприятий и здравоохранения в целом. 6) использование статистических методов при проведении клинических и экспериментальных медико-биологических исследований. Медицинская статистика является методом социальной диагностики, поскольку она позволяет дать оценку состояния здоровья населения страны, региона и на этой основе разработать меры, направленные на улучшение общественного здоровья. Важнейшим принципом статистики является применение ее для изучения не отдельных, единичных, а массовых явлений, с целью выявления их общих закономерностей. Эти закономерности проявляются, как правило, в массе наблюдений, то есть при изучении статистической совокупности. В медицине статистика — ведущий метод, т. к.: 1) позволяет количественно измерить показатели здоровья населения и показатели деятельности медицинских учреждений 2) определяет силу влияния различных факторов на здоровье населения 3) определяет эффективность лечения и оздоровительных мероприятий 4) позволяет оценить динамику показателей здоровья и позволяет прогнозировать их 5) позволяет получить необходимые данные для разработки норм и нормативов здравоохранения. В основе санитарной статистики лежат объективные законы действительности: 1. закон больших чисел — закономерности, присущие явлению, наиболее четко проявляются при большом числе наблюдений 2. теория вероятности — в основе выборочных методов исследования; суть: создание одинаковых условий быть отобранным и изученным. Статистическая совокупность — группа, состоящая из множества относительно однородных элементов, взятых вместе в известных границах пространства и времени и обладающих признаками сходства и различия (Приложение 3). Элементы статистической совокупности Единица наблюдения — каждый первичный элемент, составляющий статистическую совокупность и являющийся носителем признаков, подлежащих учету. Единица наблюдения определяется целью и задачами статистического исследования, а также избранным объектом изучения (при изучении больничной летальности единицей наблюдения будет больной, умерший в стационаре) Учетными признаками - Признаки, по которым различаются элементы статистической совокупности, подлежат регистрации, могу быть: А) Качественными (атрибутивные, описательные: пол, профессия, нозологическая форма заболевания) и Количественными (выражены числом: масса тела, рост, возраст, продолжительность болезни). Б) по роли в изучаемой совокупности — Факторные (признаки, под влиянием которых изменяются другие, зависящие от них признаки) и результативные (признаки, зависящие от факторных). С изменением величины факторного признака происходит изменение результативного (с увеличением возраста ребенка увеличивается его рост) Различают два вида статистической совокупности: А) генеральная совокупность — совокупность, состоящая из всех единиц наблюдения, которые могут быть к ней отнесены в соответствии с целью исследования. При изучении общественного здоровья генеральная совокупность часто рассматривается в пределах конкретных территориальных границ или может ограничиваться другими признаками (полом, возрастом и др.) в зависимости от цели исследования. Б) выборочная совокупность — часть генеральной, отобранная специальным (выборочным) методом и предназначенная для характеристики генеральной совокупности. Способы формирования статистической совокупности: 1) случайный отбор — отбор единиц наблюдения путем жеребьевки с помощью таблицы случайных чисел и т. д. При этом для каждой единицы обеспечивается равная возможность попасть в выборку. 2) механический отбор — единицы генеральной совокупности, последовательно расположенные по какому-либо признаку (по алфавиту, по датам обращения к врачу и т. д.), разбиваются на равные части; из каждой части в заранее обусловленном порядке отбирают каждую 5, 10 или n-ую единицу наблюдения таким образом, чтобы обеспечить необходимый объем выборки. 3) типический (типологический) отбор — предполагает обязательное предварительное расчленение генеральной совокупности на отдельные качественно однородные группы (типы) с последующей выборкой единиц наблюдения из каждой группы по принципам случайного или механического отбора. 4) серийный (гнездный, гнездовой) отбор — предполагает выборку из генеральной совокупности не отдельных единиц, а целых серий (организованной совокупности единиц наблюдений, например, организаций, районов и т. д.) комбинированные способы — сочетание различных способов формирования выборочной совокупности. Показатели деятельности лечебно-профилактического учреждения 1) Обеспеченность населения больничными койками Знание потребности и обеспечения населения больничными койками является одним из главных вопросов состояния стационарной помощи. Число среднегодовых коек (по каждому отделению и больнице в целом) Среднегодовая численность населения 2) Уровень госпитализации населения (на 1000 жителей): Показатель вычисляется по отдельным заболеваниям и группам населения и является одним из показателей доступности стационарной помощи. Число больных, пролеченных в стационаре за год (по каждому отделению и больнице в целом) Среднегодовая численность населения Оценить уровень госпитализации в зависимости от числа зарегистрированных больных с соответствующим заболеванием можно по показателю госпитализации на 1000 больных. Уровень госпитализации на 1000 больных: Число госпитализированных больных Всего зарегистрированных больных 3) Уровень госпитализации населения (на 100 зарегистрированных больных соответствующего профиля). Число больных, пролеченных в стационаре за год (по каждому профилю) Число зарегистрированных больных соответствующего профиля 4) Объем стационарной помощи Число койко-дней, проведенных больными в стационарах в течение года (по каждому отделению и больнице в целом) Среднегодовая численность населения Если показатель числа коек на 10 000 населения свидетельствует о потенциальной возможности удовлетворения потребности населения в стационарной помощи, то показатель числа койко-дней на 1000 жителей в год (так называемое «потребление стационарной помощи»), как и показатель госпитализации на 1000 жителей, позволяет оценить фактически реализованную обеспеченность населения этой помощью 5) Нагрузка на 1 врача стационара Число коек на одну должность врача (среднего медицинского персонала): Число коек по отделениям и в больнице в целом Среднегодовое число занятых должностей врачей (среднего медицинского персонала) по отделениям и больнице в целом 6) Число пролеченных больных за год на одну должность врача (среднего медицинского персонала) Число пролеченных больных за год по отделениям и больнице в целом Среднегодовое число занятых должностей врачей (среднего медицинского персонала) поотделениям и больнице в целом 7) Функция врачебной должности в стационаре Число койко-дней, проведенных пациентами в стационаре (отделении) за год 365 (число дней в году) × число занятых должностей врачей в стационаре (отделении) 8) Оборот (функция) койки. Оборот койки определяется отношением числа выбывших больных (выписанных + умерших) к среднегодовому числу коек: Число выбывших (выписанных + умерших) больных из стационара Среднегодовое число коек Оборот койки характеризует эффективность использования коечного фонда. Указанный показатель позволяет установить, какое количество больных «прошло» (было госпитализировано) через одну койку в целом по стационару и в каждом из отделений, дает представление о числе больных, получивших лечение в стационаре в течение года на одной койке. Зависит он от средней длительности пребывания больного на койке и среднего числа дней работы койки в году (прямо пропорционален занятости койки и обратно пропорционален средней длительности пребывания больного на койке). 9) Стоимость одного койко-дня: Сумма расходов больницы Физическое число койко-дней 10) Стоимость содержания одной койки в год: Сумма расходов больницы Среднегодовое число коек Показатели деятельности лечебно-профилактического учреждения Краевое государственное бюджетное учреждение здравоохранения «Краевая клиническая больница №1»
Число посещений всего
Число посещений на 1000 жителей Сведения о деятельности бригад скорой медицинской помощи в 2021 г.
Число мест в дневных стационарах Красноярского края
1 2 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||