Регуляризация L1 и L2: определение и применение в разных сферах

Регуляризация — это возможность добавить дополнительное ограничение в условиях решения задачи, чтобы найти решение задачи, если она поставлена с некорректными условиями. Регуляризация используется в машинном обучении, в статистике и в теории обратных задач.

Для нас интересно, что такое регуляризация в машинном обучении. Потому что при помощи нее удается решать проблемы, возникающие в процессе машинного обучения и влияющие на производительность обучения.

Другими словами, регуляризация — это технология, помогающая уменьшить ошибки модели за счет того, что делает решение нестандартной задачи регулярным и приемлемым.

Регуляризация в машинном обучении

В машинном обучении есть две проблемы, которые мешают качественному обучению модели:

1. Шум. Это те данные, которые косвенно связаны с данными для обучения. Они не являются важными. Их не нужно и не хочется учитывать в конечном результате, но в то же время от них никуда не деться, так как они постоянно присутствуют. Например, вы изучаете эффективность обучения студентов какого-то вуза, тогда «шумом» будет пол студентов: девочки или мальчики. Это ненужный признак, который никак не влияет на расчеты, но все равно там присутствует.

2. Переобучение. Это процесс, при котором модель слишком интенсивно обучается. В конечном счете получается, что, как только вы в эту модель принесете новые данные для анализа — она покажет низкую эффективность. Например, вы обучите модель анализировать эффективность студентов технического вуза, чтобы выяснить, кто из них окончит учебное заведение с дипломом. Модель изучит 50 000 анкет бывших и нынешних студентов. В конечном счете выдаст прогнозы с точностью в 99%. Но, если взять эту модель и проанализировать студентов гуманитарного вуза, тогда она начнет выдавать прогнозы с точностью 50%. Это произошло по той причине, что в процессе обучения модели произошло перенасыщение информацией, а это привело ее к переобучению.

Проблему с шумом можно частично решить, если применить соответствующие фильтры для данных, но также она решается при помощи регуляризации. А проблему с переобучением решает только регуляризация. Регуляризация в машинном обучении вносит в обучающую функцию систему «штрафов» за слишком большие коэффициенты и помогает избавляться от ненужных свойств (шумов).

L1 и L2 регуляризация

Регуляризация может быть двух основных видов:

1. L1-регуляризация — она же «манхэттенское расстояние» или «регрессия лассо». Ее идея заключается в том, чтобы сводить набор правил на наиболее важных функциях, которые влияют на конечный результат. Этот способ выглядит как способ выбора признаков. Выражается формулой: L1 = Σ(yi — y(ti))2 + λΣ|ai|.

2. L2-регуляризация — она же регуляризация Тихонова или «регрессия хребта». Этот вид регуляризации несколько похож на первый вид. По крайней мере, они выполняют одни и те же функции. Однако основная направленность деятельности этого метода — агрессивное применение штрафов. Практически получается, что этот метод не подходит для выбора признаков функции. В этом его основное отличие от L1. Выражается формулой: L2 = Σ(yi — y(ti))2 + λΣai2.

Заключение

Регуляризация — это способ добавить дополнительную информацию к условию некорректно поставленной задачи, а также предотвратить влияние шумов и переобучение. Регуляризация — это «штраф» за сложность модели, поэтому она делает обучение проще и эффективнее. Регуляризация довольно часто применяется в машинном обучении, когда нужно обучить модель на большом количестве данных и сохранить возможность ее адаптации к другим видам данных.