Лабораторное занятие 13¶

В этой лабораторной работе мы познакомимся с инструментами scikit-learn для решения задач регрессии. На этом семинаре мы познакомимся с моделями для обучения с учителем: LogisticRegression.

Логистическая регресссия¶

Модель логистичкеской регрессии не является классической регрессией. Данная модель чаще всего используется для классификации объектов.

Постановка задачи¶

Пускай есть набор признаков $w_i, i=\overline{0, M}$ и некоторая бинарная целевая метрика. Требуется определить вероятность $p$ принадлежности к одному из классов по набору параметров $w_i$.

Предположим, что принадлежность к опредленному классу приближенно можно описать линейной зависимостью от признаков: $$ y = w_0 + w_1 x_1 + \cdots w_n x_n, $$ где $x_i$ значение $i$-го признака.

Линейная функция может принимать почти любые значения, а вот вероятность это величина строго с отрезка $[0, 1]$. Мы можем поступить несколькими путями:

1. Смотреть на знак выражения и определять тем самым принадлежность объекта к опредленному классу $$ y_i = \text{sign}\left(w^{T} x\right) = \text{sign}\left(w_0 + \sum\limits_{i=1}^{M} w_{i} x_i\right); $$
   • Знаковая функция имеет разрыв вблизи 0, что может плохо сказаться при поиске минимума (как взять производную?).
2. Можем обернуть линейное приближение в сигмоиду, которая принимает значения от 0 до 1 $$ \sigma(t) = \frac{1}{1 + e^{-t}} = \frac{1}{1 + \exp\left[-\left(w_0 + \sum\limits_{i=1}^{M} w_{i} x_i\right)\right]}. $$
   • Сигмоидная функция гладкая, а значит ее можно диференцировать без проблем;
   • Можно выбрать порог, превышение которого определит объект к определенному классу.

Функция потерь¶

Разберем подробно вывод функции потерь для логистической регрессии. Ответом регрессии является вероятность, а вероятность можно описать с помощью функции распределения. В математической статистике используется объект функция правдоподобия для определения характеристик функции распределения.

Пусть величина описывается распределением $\phi$. Если каждая точка $y_i$ описывается с помощью $x_j, j = \overline{1, M}$ признаков и всего было набрано $N$ измерений, то общее распределение описывается как $${\rm L}(y, x, w) = \prod\limits_{i = 1}^{N} \phi(y_i, x_i, w).$$ Параметры $w$ подбираются так, чтобы максимизировать функцию правдоподобия. С произведением множества функций сложно работать, прибегают к логарифмированию. Тогда $$\log\left({\rm L}(y, x, w)\right) = \sum\limits_{i = 1}^{N} \log\left(\phi(y_i, x_i, w)\right) \sim \sum\limits_{i = 1}^{N} \log\left(p^{y_{i}}_{i} (1 - p_{i})^{1 - y_i} \right) = \sum\limits_{i = 1}^{N}\left[ y_i \log p_i + (1 - y_i)\log(1 - p_i) \right].$$ В последних двух преобразованиях был применен явный вид функции вероятности для бинарной классфикации (биномиальное распределение). Из последней части мы можем сделать два простых вывода:

• Если y_i = 1 (объект принадлежит первому типу класса), то остается лишь $\log p_i$,
• Если y_i = 0 (объект принадлежит второму типу класса), то остается лишь $\log (1 - p_i)$.

Упраженение 1: Изобразите функции выше, но со знаком $-$ (минус).

Подумайте, почему обучаться на одном объекте чревато проблемами.

Обучение алгоритма логистической регрессии сводится к поиску оптимального значения вектора весов $w$, который будет минимизировать сумму логарифмов на изображении выше.

Breast cancer¶

Рассмотрим на примере данных о раке груди принцип работы логистической регрессии. Во-первых, загрузим данные.

Сделаем предварительнцю обработку данных. Уберем из данных все те строки, где отсутствует хоть какое-то значение из любого столбца.

Таблица полна, значения имеются в каждой ячейке. Попробуем рассмотреть совместное распредение признаков и целевой метки. Мы ограничимся 5 столбцами, так как всего у нас 31 столбец и всех их отрисовывать накладно.

Упражнение 2: нарисуйте совместное распределение признаков mean radius, mean perimeter, mean area, mean symmetry и target.

По распределениям выше подберем метрику, которая пойдет в основу логистической регрессии. Попробуем поработать с mean perimeter.

Простая регрессия на одном параметре¶

Рассмотрим самый простой вариант регрессии, когда модель оперирует лишь одним признаком - возрастом. Выделим mean perimeter в "матрицу" X, а целевое значение target в столбец y.

Разделим данные на тренировочные и тестовые.

Добавим вспомогательную функцию сигмоиды.

Упражнение 3: попробуйте отрисовать функции потерь $-\log p_i$ и $-\log (1 - p_i)$ и их сумму в несколько этапов:

1. Отобразите только показатель $t$ для нулевого экземпляра.
2. Отобразите значение сигмоды на показателе $t$ для нулевого экземпляра.
3. Отобразите функции потерь для нулевого экземпляра.

Найдем значение аргумента, которое минимизирует данную функцию потерь.

Построим распредение вероятностей между объектами и их истинными метками. По оси абсцисс будет откладываться индекс объекта из обучающей выборки, по оси ординат будет откладываться вероятность. Метки синего цвета обозначают объекты target=0, метки оранжевого - target=1.

Между объектами можно провести прямую, которая разделить два класса объектов. Построим ROC-кривую, по оси абсцисс мы должны отложить False Positive Rate (FPR), а по оси ординат True Positive Rate (TPR). Напомним,

• False Positive Rate (FPR): доля ложных false объектов, среди всех false объектов $$\dfrac{\rm FP}{{\rm FP} + {\rm TN}}$$
• True Positive Rate (TPR): доля истинно true объектов, среди всех true объектов $$\dfrac{\rm TP}{{\rm TP} + {\rm FN}}$$

В случае задачи определения болезни нам важно иметь большое значение TPR: лучше лишний раз проверить, чем не заметить.

Реализуем руками функции для TPR и FPR.

Упражнение 4: Нарисуйте зависимость FPR от TPR.

Задание 1: проделайте шаги из предыдущих упражнений уже на основе признака mean area.

1. Выделите X (mean area) и y (target).
2. Разделите выборку на тренировочную и обучающую, зафиксируйте случайность random_state=1.
3. Постройте функцию потерь (loss_train) $$ {\rm loss} = \sum\limits_{i = 1}^{N_{\rm train}}y_i \log\left( p_i \right) + (1 - y_i) \log\left( 1 - p_i \right),$$ где $$p_i = \dfrac{1}{1 + \exp(-x_i w)}.$$
4. Найдите оптимальное значение параметра $w$, в функцию minimize передайте аргумент method="TNC".
5. *Постройте распределение вероятностей.
6. *Постройте AUC-кривую.

Попробуем построить модель на основе двух признаков. Из графиков ниже хорошо подходят признаки mean radius и mean symmetry.

Повторим процедуру поиска минимальных параметров. Сейчас модель линейной регрессии выглядит следующим образом $$ p = \dfrac{1}{1 + \exp\left( -x_0 w_0 - x_1 w_1 \right)} $$

Построим распределение признаков с учетом их меток и проведем "решающую" прямую.

По графику видно, что решающая прямая незначительно смещена. Это смещение можно было бы учесть, если бы параметр bias имел значение не ноль.

Упражнение 5: попробуйте руками подобрать значение параметра bias. *Попробуйте найти честно или численно значение параметра bias.

LogisticRegression из рода sklearn¶

Теперь попробуем проделать шаги выше с помощью класса LogisticRegression из библиотеки sklearn. Здесь мы продолжим работу с признаком mean area.

Сформируем данные для обучения и тестирования.

Ранее в параметрах модели мы указали fit_intercept=False. Это указывает на то, что константный параметр будет равен нулю (константный - не зависит от значений признаков). Ранее мы вводили константный параметр и называли его bias (упражнение 5).

Можем сравнить полученный model.coef_ здесь и в задании 1. Они должны быть идентичны.

Теперь отрисуем вероятности получения определенных меток объектами и их истинные метки.

Упражнение 6: нарисуйте распределение вероятностей для тестовой выборки.

Коэффициент модели из sklearn находится в хорошем соответствии с ранее вычисленным коэффициентом. Абсолютное значение коэффициента много меньше 1. Это один из признаков, что модель не переобучилась. Сигмоида получилась достаточно плавной.

Теперь попробуем обучить нашу модель на всех признаках сразу.

При добавлении новых признаков мы видим, что разделение между двумя классами значительно увеличилось. Больше информации, больше уверенность в правильном определении метки объекта.

Упражнение 7: постройте график выше уже с использованием тестовой выборки.

Последний, но не менее важный шаг - ROC-кривая.

Добавление новых признаков в модель позволило значительно улучшить ее качество предсказания метки. Но все ли данные было одинаково полезно изспользовать при обучении? Можно ли откинуть часть параметров, которая имеет линейную зависимость (периметр, радиус, худший(?) радиус)?

Построим корреляционную матрицу признаков, а потом приступим к изучению влияния параметров на финальное качество модели.

Видим сильные (анти)корреляции между area error, mean perimeter, worst radius, .... Может ли модель самостоятельно исключить из рассмотрения такие (анти)коррелирующие признаки?

Давайте посмотрим на примере модели, которая работает с нормированными данными. Нормируем данные на основе тренировочной выборки и применим соответствующее преобразование к тестовой.

Создадим модель на основе нормированных данных и построем для нее ROC-кривую.

ROC-кривая зачительно изменилась. Теперь при малых значениях FPR мы можем сразу же получить высокие значения TPR. Меньше ложных срабатываний при одинаковом уровне правильных меток.

По графику распределения вероятностей мы можем сказать, что модель почти идеально предсказывает метки в каждом из случаев. Не является ли это косвенным признаком переобучения?

Посмотрим на веса моделей.

В случае масштабированных данных веса очень большие после обучения. Малое смещение параметра от центрального значения приводит к достаточно весомому значению в экспоненте. Реакция на признак гипертрафируется весом. Это и есть переобучение.

ПОпробуем избавиться от переобучения, воспользуемся параметром penalty класса LogisticRegression.

Регуляризация параметров модели¶

Рассмотрим два подхода к регуляризации весов модели:

• L-2 регуляризация.
• L-1 регуляризация,

L-2 регуляризация (Ridge)¶

К функции потерь добавляется член вида $$\alpha \sum\limits_{i = 1}^{M} w_i^2,$$ где $M$ - количество признаков, $w_i$ - веса модели, а $\alpha$ - "сила" регуляризации (гиперпараметр).

Данная регуляризация сильно штрафует за выбросы в данных, дает более устойчивый ответ.

L-1 регуляризация (Lasso)¶

К функции потерь добавляется член вида $$\alpha \sum\limits_{i = 1}^{M} |w_i|,$$ где $M$ - количество признаков, $w_i$ - веса модели, а $\alpha$ - "сила" регуляризации (гиперпараметр).

Особенность данной регуляризации: позволяет уменьшить количество весов модели, оставляя только значимые признаки.

Применение регуляризации¶

Рассмотрим влияние регуляризации к текущей задаче. В коде ниже вы можете отметить, что появляется несколько новых параметров у класса LogisticRegression:

• C: гиперпараметр регуляризации. Если говорить в терминах выше, то $C = \alpha^{-1}$. Является обратной величиной. Чем меньше значение C, тем сильнее регуляризация;
• solver: алгоритм нахождения минимума. Не любой алгоритм может найти минимум с учетом регуляризации. Ограничение каждого метода можно найти в источнике eng (источник ru).

Отметим следующие особенности:

• Мы не наблюдаем переобучения в случаях использования регуляризаций;
• В случае L-1 видим, что часть весов занулилась, признаки были отброшены моделью. Модель сообразила, что часть признаков повторяют друг друга (радиус опухоли, ее переметр). Эту фильтрацию мы могли бы и самостоятельно применить, если бы обладали достаточной экспертизой в данных.
• В случа L-2 видим, что малые значения весов примерно соответствуют нулевым весам из L-1, но не всегда.

Задание 2: попробуйте обучить модель логистической регрессии на игрушечных данных ниже. Проследите какие именно признаки уходят из рассмотрения при подключении регуляризаций.

*Попробуйте воспользоваться классом GridSearchCV для подбора гиперпараметра C.

Задание 3: проанализируйте набор данных Титаник. Предскажите выживаемость человека по входным признакам. Попробуйте реализовать модель в несколько этапов:

• Используйте только два признака: пол sex и возраст age. Не забудьте перевести категориальные признаки в численные с помощью LabelEncoder;
• Разделите выборку на обучающую и тестовую;
• Нормируйте данные и повторите предыдущий этап;
• Возьмите в рассмотрение признаки pclass, class, embarked, alone, fare;
• Примените регуляризации, посмотрите какие признаки уйдут из рассмотрения.

Задание 4*: разработайте алгоритм распознавания пингвинов. Присмотритесь, количество конечных классов не равно 2, но это не долнжо быть сложностью для алгоритма логистической регрессии.

Дополнительные материалы¶