Шкляев Александр Викторович
«Современные подходы к проверке однородности и независимости»
Описание курса:
Как правило, статистические критерии проверки однородности, известные широкой общественности, включают t-test, критерий Смирнова, хи-квадрат критерий (а также его LLR аналог) и критерий Манна-Уитни. Аналогично для независимости - критерии Пирсона, Спирмена, Кендалла и хи-квадрат (LLR). Между тем, современное состояние области такого, что прежде всего строятся многомерные методы проверки однородности, а из них уже производятся критерии независимости. Большой спектр такого рода подходов реализован в последние 15 лет.
Мы сформулируем общий подход к рассмотрению критериев независимости и однородности и рассмотрим наиболее удачные версии, стартуя с перечисленных выше классических критериев и продолжая критериями BWS, MMD, Energy Test, Dcov, HSIC, HHG и прочими. Мы рассмотрим как прикладной аспект (сравним критерии на ряде популярных массивов данных), так и теоретический, построив, в частности, столь важную в различных целях конструкцию RKHS.
План курса:
Лекция 1
Введение. Постановка задач однородности и независимости. Подход, связанный с расстоянием между распределениями. Три подхода к построению критериев.
Лекция 2
Критерии Стьюдента, Манна-Уитни, хи-квадрат, Смирнова, Розенблатта, Пирсона, Спирмена, Кендалла, Баумгартнера-Вейсса-Шиндлера как частный случай подхода расстояний.
Лекция 3
Сходимость случайных процессов. Теорема о сходимости разности ЭФР и ф.р. к броуновскому мосту для равномерного распределения. Применение к статистическим задачам: критерии Смирнова, Баумгартнера-Вейсса-Шиндлера.
Лекция 4
Критерий Манна-Уитни и t-test. Асимптотические распределения. Вывод предельных распределений. Сравнение критериев.
Лекция 5
Критерии Пирсона, Спирмена и Кендалла. Вывод предельных распределений. Сравнение критериев.
Лекция 6
Эмпирическое исследование рассматриваемых методов.
Лекция 7
Критерии, основанные на разности интегральных функционалов от вероятностных мер. Критерий однородности, основанный на расстоянии Вассерштейна. Критерий, основанный на единичном шаре в воспроизводящем ядро гильбертовом пространстве.
Лекция 8
Воспроизводящее ядро гильбертово пространство: построение и свойства.
Лекция 9
Критерии MMD, HSIC. Связь полуметрики и ядра. Energy Test и Distance Covariance.
Лекция 10
Практическое занятие. Применение рассматриваемых методов.
Лекция 11
Критерии хи-квадрат и отношения правдоподобий для проверки однородности и независимости.
Лекция 12
Критерии хи-квадрат и отношения правдоподобий для проверки однородности и независимости с адаптацией разбиения. Подход Heller, Heller, Gorfin.
Лекция 13
Подход Reshef, коэффициент MIC. Равномерность (Equitability) коэффициентов корреляции.
Лекции 14
Практическое занятие. Применение критериев хи-квадрат, отношения правдоподобий и HHG-критерия, а также подхода Reshef. Оптимальное разбиение.
Лекция 15
Подход многомерных рангов и его использование для построения критериев для проверки многомерных гипотез однородности и независимости.
Лекция 16
Общий обзор рассматриваемых методов и особенностей их практического применения. Заключительные замечания.
