Шкляев Александр Викторович

Шкляев Александр Викторович

«Современные подходы к проверке однородности и независимости»

Описание курса:

Как правило, статистические критерии проверки однородности, известные широкой общественности, включают t-test, критерий Смирнова, хи-квадрат критерий (а также его LLR аналог) и критерий Манна-Уитни. Аналогично для независимости - критерии Пирсона, Спирмена, Кендалла и хи-квадрат (LLR). Между тем, современное состояние области такого, что прежде всего строятся многомерные методы проверки однородности, а из них уже производятся критерии независимости. Большой спектр такого рода подходов реализован в последние 15 лет.

Мы сформулируем общий подход к рассмотрению критериев независимости и однородности и рассмотрим наиболее удачные версии, стартуя с перечисленных выше классических критериев и продолжая критериями BWS, MMD, Energy Test, Dcov, HSIC, HHG и прочими. Мы рассмотрим как прикладной аспект (сравним критерии на ряде популярных массивов данных), так и теоретический, построив, в частности, столь важную в различных целях конструкцию RKHS.

План курса:

Лекция 1

Введение. Постановка задач однородности и независимости. Подход, связанный с расстоянием между распределениями. Три подхода к построению критериев.

Лекция 2

Критерии Стьюдента, Манна-Уитни, хи-квадрат, Смирнова, Розенблатта, Пирсона, Спирмена, Кендалла, Баумгартнера-Вейсса-Шиндлера как частный случай подхода расстояний.

Лекция 3

Сходимость случайных процессов. Теорема о сходимости разности ЭФР и ф.р. к броуновскому мосту для равномерного распределения. Применение к статистическим задачам: критерии Смирнова, Баумгартнера-Вейсса-Шиндлера.

Лекция 4

Критерий Манна-Уитни и t-test. Асимптотические распределения. Вывод предельных распределений. Сравнение критериев.

Лекция 5

Критерии Пирсона, Спирмена и Кендалла. Вывод предельных распределений. Сравнение критериев.

Лекция 6

Эмпирическое исследование рассматриваемых методов.

Лекция 7

Критерии, основанные на разности интегральных функционалов от вероятностных мер. Критерий однородности, основанный на расстоянии Вассерштейна. Критерий, основанный на единичном шаре в воспроизводящем ядро гильбертовом пространстве.

Лекция 8

Воспроизводящее ядро гильбертово пространство: построение и свойства.

Лекция 9

Критерии MMD, HSIC. Связь полуметрики и ядра. Energy Test и Distance Covariance.

Лекция 10

Практическое занятие. Применение рассматриваемых методов.

Лекция 11

Критерии хи-квадрат и отношения правдоподобий для проверки однородности и независимости.

Лекция 12

Критерии хи-квадрат и отношения правдоподобий для проверки однородности и независимости с адаптацией разбиения. Подход Heller, Heller, Gorfin.

Лекция 13

Подход Reshef, коэффициент MIC. Равномерность (Equitability) коэффициентов корреляции.

Лекции 14

Практическое занятие. Применение критериев хи-квадрат, отношения правдоподобий и HHG-критерия, а также подхода Reshef. Оптимальное разбиение.

Лекция 15

Подход многомерных рангов и его использование для построения критериев для проверки многомерных гипотез однородности и независимости.

Лекция 16

Общий обзор рассматриваемых методов и особенностей их практического применения. Заключительные замечания.