Презентация. Задача По выборочной матрице ковариаций построить приближение истинной матрицы ковариаций с помощью модели выбора ковариаций

• Название: Задача По выборочной матрице ковариаций построить приближение истинной матрицы ковариаций с помощью модели выбора ковариаций
• Анкор: 23432
• Дата: 01.11.2022
• Размер: 169.47 Kb.
• Имя файла: Презентация.pptx
• Тип: Задача; #766396

Алгоритм выбора ковариаций Демпстера

Написать библиотеку на языке Python, реализующую алгоритм выбора ковариаций Демпстера с модификацией, предложенной Вайнберг (2008)

Цель

Задача

По выборочной матрице ковариаций построить приближение истинной матрицы ковариаций с помощью модели выбора ковариаций.

В данной модели делается предположение о разреженности обратной ковариационной матрицы, и приближение ищется выбором пар переменных с нулевой частной корреляцией.

Алгоритм

В результате работы алгоритма уменьшается число параметров системы.

Полученную обратную матрицу можно представить в виде графа, для визуального анализа взаимосвязи переменных.

Условия применения алгоритма

• Большое число переменных, малое относительно них число наблюдений. Выборочная ковариационная матрица плохо обусловлена, и по ней нельзя построить достоверную обратную матрицу
• Интересна взаимосвязь переменных с точки зрения условной независимости переменных друг от друга
• Лучше получить лишние взаимосвязи, чем потерять истинные. (Если в истинной обратной матрице на какой-то позиции стоит ненулевой коэффициент, то алгоритм также найдет там ненулевой коэффициент)

Области применения

• Анализ данных экспрессии генов. Bhadra, Malick (2013), Dobra & West (2004)
• Распознавание речи. Chen & Gopinath (1999)
• Экономика. Вайнберг (2008)

Проделанная работа

Команда ознакомилась с материалами по теме работы

Реализован алгоритм Демпстера выбора ковариаций

Реализована модификация алгоритма Демпстера

Проект залит на Github

Библиотеку можно поставить привычной командой pip install dempster_algorithm

Проведены тесты на корректность

Проведены замеры скорости работы обоих алгоритмов

Виды тестов

• Повторение результатов из оригинальных статей по методу выбора ковариаций
• Тесты на случайных данных
• Построение ковариационной матрицы по выборочной ковариации из случайного распределения и сравнение на соответствие параметрам распределения
• Построение ковариационной матрицы по зашумленной истинной ковариационной матрице и сравнение на соответствие

N = 60

P = 15

Dempster time (ms)	Modified time (ms)	Pvalue	Number of variables
237.38	165.52	0.5	16
220.92	185.00	0.5	15
14.81	9.67	0.5	12
27.96	17.18	0.5	13
47.25	30.84	0.5	14

Результат

Модифицированная версия алгоритма находит почти такую же ковариационную матрицу, как оригинальная, но работает в среднем быстрее на 30%.

Вклад участников

• Николай Пермяков. Написание алгоритма
• Сергей Власов. Тестирование
• Рокеах Роман. Написание алгоритма