что такое кросс валидация в машинном обучении

Кросс-валидация

Кросс-валидация или скользящий контроль — процедура эмпирического оценивания обобщающей способности алгоритмов. С помощью кросс-валидации эмулируется наличие тестовой выборки, которая не участвует в обучении, но для которой известны правильные ответы.

Содержание

Определения и обозначения [ править ]

Пусть [math] X [/math] — множество признаков, описывающих объекты, а [math] Y [/math] — конечное множество меток.

[math]T^l = <(x_i, y_i)>_^, x_i \in X, y_i \in Y[/math] — обучающая выборка,

[math]Q[/math] — мера качества,

[math]\mu: (X \times Y)^l \to A, [/math] — алгоритм обучения.

Разновидности кросс-валидации [ править ]

Валидация на отложенных данных (Hold-Out Validation) [ править ]

Обучающая выборка один раз случайным образом разбивается на две части [math] T^l = T^t \cup T^ [/math]

После чего решается задача оптимизации:

Метод Hold-out применяется в случаях больших датасетов, т.к. требует меньше вычислительных мощностей по сравнению с другими методами кросс-валидации. Недостатком метода является то, что оценка существенно зависит от разбиения, тогда как желательно, чтобы она характеризовала только алгоритм обучения.

Полная кросс-валидация (Complete cross-validation) [ править ]

Здесь число разбиений [math]C_l^[/math] становится слишком большим даже при сравнительно малых значениях t, что затрудняет практическое применение данного метода.

k-fold кросс-валидация [ править ]

Каждая из [math]k[/math] частей единожды используется для тестирования. Как правило, [math]k = 10[/math] (5 в случае малого размера выборки).

t×k-fold кросс-валидация [ править ]

Кросс-валидация по отдельным объектам (Leave-One-Out) [ править ]

Выборка разбивается на [math]l-1[/math] и 1 объект [math]l[/math] раз.

Преимущества LOO в том, что каждый объект ровно один раз участвует в контроле, а длина обучающих подвыборок лишь на единицу меньше длины полной выборки.

Недостатком LOO является большая ресурсоёмкость, так как обучаться приходится [math]L[/math] раз. Некоторые методы обучения позволяют достаточно быстро перенастраивать внутренние параметры алгоритма при замене одного обучающего объекта другим. В этих случаях вычисление LOO удаётся заметно ускорить.

Случайные разбиения (Random subsampling) [ править ]

Выборка разбивается в случайной пропорции. Процедура повторяется несколько раз.

Критерий целостности модели (Model consistency criterion) [ править ]

Не переобученый алгоритм должен показывать одинаковую эффективность на каждой части.

Источник

Перекрёстная проверка (кросс-валидация, Cross-validation) — метод оценки аналитической модели и её поведения на независимых данных. При оценке модели имеющиеся в наличии данные разбиваются на k частей. Затем на k−1 частях данных производится обучение модели, а оставшаяся часть данных используется для тестирования. Процедура повторяется k раз; в итоге каждая из k частей данных используется для тестирования. В результате получается оценка эффективности выбранной модели с наиболее равномерным использованием имеющихся данных.

Обычно кросс-валидация используется в ситуациях, где целью является предсказание, и хотелось бы оценить, насколько предсказывающая модель способна работать на практике. Один цикл кросс-валидации включает разбиение набора данных на части, затем построение модели на одной части (называемой тренировочным набором), и валидация модели на другой части (называемой тестовым набором). Чтобы уменьшить разброс результатов, разные циклы кросс-валидации проводятся на разных разбиениях, а результаты валидации усредняются по всем циклам.

Кросс-валидация важна для защиты от гипотез, навязанных данными («ошибки третьего рода»), особенно когда получение дополнительных данных затруднительно или невозможно.

Предположим, у нас есть модель с одним или несколькими неизвестными параметрами, и набор данных, на котором эта модель может быть оптимизирована (тренировочный набор). Процесс подгонки оптимизирует параметры модели и делает модель настолько подходящей под тренировочный набор, насколько это возможно. Если мы теперь возьмем независимый образец данных для валидации модели из того же источника, откуда мы взяли тренировочный набор данных, обычно обнаруживается, что модель описывает тестовые данные хуже, чем тренировочный набор. Это называется переподгонкой (overfitting), и особенно часто встречается в ситуациях, когда размер тренировочного набора невелик, или когда число параметров в модели велико. Кросс-валидация это способ оценить способность модели работать на гипотетическом тестовом наборе, когда такой набор в явном виде получить невозможно.

Распространенные типы кросс-валидации

Кросс-валидация по K блокам (K-fold cross-validation)

В этом случае исходый набор данных разбивается на K одинаковых по размеру блока. Из K блоков один оставляется для тестирования модели, а остающиеся K-1 блока используются как тренировочный набор. Процесс повторяется K раз, и каждый из блоков используется один раз как тестовый набор. Получаются K результатов, по одному на каждый блок, они усредняются или комбинируются каким-либо другим способом, и дают одну оценку. Преимущество такого способа перед случайным сэмплированием (random subsampling) в том, что все наблюдения используются и для тренировки, и для тестирования модели, и каждое наблюдение используется для тестирования в точности один раз. Часто используется кросс-валидация на 10 блоках, но каких-то определенных рекомендаций по выбору числа блоков нет.

В послойной кросс-валидации блоки выбираются таким образом, что среднее значение ответа модели примерно равно по всем блокам.

Валидация последовательным случайным сэмплированием (random subsampling)

Этот метод случайным образом разбивает набор данных на тренировочный и тестовый наборы. Для каждого такого разбиения, модель подгоняется под тренировочные данные, а точность предсказания оценивается на тестовом наборе. Результаты затем усредняются по всем разбиениям. Преимущество такого метода перед кросс-валидацией на K блоках в том, что пропорции тренировочного и тестового наборов не зависят от числа повторений (блоков). Недостаток метода в том, что некоторые наблюдения могут ни разу не попасть в тестовый набор, тогда как другие могут попасть в него более, чем один раз. Другими словами, тестовые наборы могут перекрываться. Кроме того, поскольку разбиения проводятся случайно, результаты будут отличаться в случае повторного анализа.

В послойном варианте этого метода, случайные выборки генерируются таким способом, при котором средний ответ модели равен по тренировочному и тестовому наборам. Это особенно полезно, когда ответ модели бинарен, с неравными пропорциями ответов по данным.

Поэлементная кросс-валидация (Leave-one-out, LOO)

Здесь отдельное наблюдение используется в качестве тестового набора данных, а остальные наблюдения из исходного набора – в качестве тренировочного. Цикл повторяется, пока каждое наблюдение не будет использовано один раз в качестве тестового. Это то же самое, что и K-блочная кросс-валидация, где K равно числу наблюдений в исходном наборе данных.

Оценка соответствия модели

Цель кросс-валидации в том, чтобы оценить ожидаемый уровень соответствия модели данным, независимым от тех данных, на которых модель тренировалась. Она может использоваться для оценки любой количественной меры соответствия, подходящей для данных и модели. Например, для задачи бинарной классификации, каждый случай в тестовом наборе будет предсказан правильно или неправильно. В этой ситуации коэффициент ошибки может быть использован в качестве оценки соответствия, хотя могут использоваться и другие оценки. Если предсказываемое значение распределено непрерывно, для оценки соответствия может использоваться среднеквадратичная ошибка, корень из среднеквадратичной ошибки или медианное абсолютное отклонение.

Применения кросс-валидации

Кросс-валидация может использоваться для сравнения результатов различных процедур предсказывающего моделирования. Например, предположим, что мы интересуемся оптическим распознаванием символов, и рассматриваем варианты использования либо поддерживающих векторов (Support Vector Machines, SVM), либо k ближайших соседей (k nearest neighbors, KNN). С помощью кросс-валидации мы могли бы объективно сравнить эти два метода в терминах относительных коэффициентов их ошибок классификаций. Если мы будем просто сравнивать эти методы по их ошибкам на тренировочной выборке, KNN скорее всего покажет себя лучше, поскольку он более гибок и следовательно более склонен к переподгонке по сравнению с SVM.

Кросс-валидация также может использоваться для выбора параметров. Предположим, у нас есть 20 параметров, которые мы могли бы использовать в модели. Задача – выбрать параметры, использование которых даст модель с лучшими предсказывающими способностями. Если мы будем сравнивать подмножества параметров по их ошибкам на тестовом наборе, лучшие результаты получатся при использовании всех параметров. Однако с кросс-валидацией, модель с лучшей способностью к обобщению обычно включает только некоторое подмножество параметров, которые достаточно информативны.

Вопросы вычислительной производительности

Ограничения и неверное использование кросс-валидации

Кросс-валидация дает значимые результаты только когда тренировочный набор данных и тестовый набор данных берутся из одного источника, из одной популяции. В многих применениях предсказательных моделей структура изучаемой системы меняется со временем. Это может наводить систематические отклонения тренировочного и валидационного наборов данных. К примеру, если модель для предсказания цены акции тренируется на данных из определенного пятилетнего периода, нереалистично рассматривать последующий пятилетний период как выборку из той же самой популяции.

Если выполняется правильно, и наборы данных из одной популяции, кросс-валидация дает результат практически без смещений (bias). Однако, есть много способов использовать кросс-валидацию неправильно. В этом случае ошибка предсказания на реальном валидационном наборе данных скорее всего будет намного хуже, чем ожидается по результатам кросс-валидации.

Способы неверно использовать кросс-валидацию:

1. Использовать кросс-валидацию на нескольких моделях, и взять только результаты лучшей модели.

2. Проводить начальный анализ для определения наиболее информативного набора параметров, используя полный набор данных. Если отбор параметров требуется в модели предсказания, он должен проводиться последовательно на каждом тренировочном наборе данных. Если кросс-валидация используется для определения набора используемых моделью параметров, на каждом тренировочном наборе должна проводиться внутренняя кросс-валидация для определения набора параметров.

3. Позволять некоторым тренировочным данным попадать также и в тестовый набор – это может случиться из-за существования дублирующих наблюдений в исходном наборе.

Источник

Скользящий контроль

Материал из MachineLearning.

Скользящий контроль или кросс-проверка или кросс-валидация (cross-validation, CV) — процедура эмпирического оценивания обобщающей способности алгоритмов, обучаемых по прецедентам.

Фиксируется некоторое множество разбиений исходной выборки на две подвыборки: обучающую и контрольную. Для каждого разбиения выполняется настройка алгоритма по обучающей подвыборке, затем оценивается его средняя ошибка на объектах контрольной подвыборки. Оценкой скользящего контроля называется средняя по всем разбиениям величина ошибки на контрольных подвыборках.

Если выборка независима, то средняя ошибка скользящего контроля даёт несмещённую оценку вероятности ошибки. Это выгодно отличает её от средней ошибки на обучающей выборке, которая может оказаться смещённой (оптимистически заниженной) оценкой вероятности ошибки, что связано с явлением переобучения.

Скользящий контроль является стандартной методикой тестирования и сравнения алгоритмов классификации, регрессии и прогнозирования.

Содержание

Определения и обозначения

Пусть — множество описаний объектов, — множество допустимых ответов.

Процедура скользящего контроля

Различные варианты скользящего контроля отличаются видами функционала качества и способами разбиения выборки.

Доверительное оценивание

Кроме среднего значения качества на контроле строят также доверительные интервалы.

В частности, для получения верхней оценки с надёжностью 95% достаточно взять разбиений.

В частности, для получения двусторонней оценки с надёжностью 95% достаточно взять разбиений.

Стратификация

Стратификация выборки — это способ уменьшить разброс (дисперсию) оценок скользящего контроля, в результате чего получаются более узкие доверительные интервалы и более точные (tight) верхние оценки.

Стратификация по вещественному признаку. Объекты выборки сортируются согласно некоторому критерию, например, по возрастанию одного из признаков. Затем выборка разбивается на k последовательных страт одинаковой (с точностью до 1) длины. При формировании контрольных выборок из каждой страты выбирается по одному объекту, либо с заданным порядковым номером внутри страты, либо случайным образом.

Разновидности скользящего контроля

Возможны различные варианты скользящего контроля, отличающиеся способами разбиения выборки.

Полный скользящий контроль (complete CV)

Оценка скользящего контроля строится по всем разбиениям. В зависимости от (длины обучающей выборки) различают:

Случайные разбиения

Разбиения выбираются случайно, независимо и равновероятно из множества всех разбиений. Именно для этого случая справедливы приведённые выше оценки доверительных интервалов. На практике эти оценки, как правило, без изменений переносится и на другие способы разбиения выборки.

Контроль на отложенных данных (hold-out CV)

Этот способ имеет существенные недостатки:

Контроль по отдельным объектам (leave-one-out CV)

Преимущества LOO в том, что каждый объект ровно один раз участвует в контроле, а длина обучающих подвыборок лишь на единицу меньше длины полной выборки.

Недостатком LOO является большая ресурсоёмкость, так как обучаться приходится раз. Некоторые методы обучения позволяют достаточно быстро перенастраивать внутренние параметры алгоритма при замене одного обучающего объекта другим. В этих случаях вычисление LOO удаётся заметно ускорить.

Контроль по q блокам (q-fold CV)

Выборка случайным образом разбивается на q непересекающихся блоков одинаковой (или почти одинаковой) длины :

Каждый блок по очереди становится контрольной подвыборкой, при этом обучение производится по остальным блокам. Критерий определяется как средняя ошибка на контрольной подвыборке:

Контроль по r×q блокам (r×q-fold CV)

Контроль по q блокам (q-fold CV) повторяется r раз. Каждый раз выборка случайным образом разбивается на q непересекающихся блоков. Этот способ наследует все преимущества q-fold CV, при этом появляется дополнительная возможность увеличивать число разбиений.

Данный вариант скользящего контроля, со стратификацией классов, является стандартной методикой тестирования и сравнения алгоритмов классификации. В частности, он применяется в системах WEKA и «Полигон алгоритмов».

Скользящий контроль в задачах прогнозирования

В задачах прогнозирования, динамического обучения, обучения с подкреплением и активного обучения прецеденты изначально линейно упорядочены по времени их появления. В этом случае варианты скользящего контроля не так разнообразны.

Контроль при нарастающей длине обучения

Поскольку длина обучения увеличивается со временем, точность прогнозов может постепенно улучшаться. Этот побочный эффект является нежелательным, если скользящий контроль применяется для оценивания качества алгоритма обучения.

Контроль при фиксированной длине обучения

Недостатки скользящего контроля

Применения скользящего контроля

На практике скользящий контроль применяется для оптимизации некоторых критически важных параметров, как правило, определяющих структуру или сложность используемой модели алгоритма, и имеющих относительно небольшое число возможных значений.

Источник

Перекрестная проверка: руководство для начинающих

Дата публикации May 24, 2019

Автор: Калеб Нил, Деметри Воркман, Абхинай Доммалапати

Эта статья призвана стать руководством к началу выполнения для трех методов проверки модели (hold out, k-fold и LOOCV) и концепций, лежащих в их основе, со ссылками и ссылками, которые помогут вам в дальнейшем чтении. В данных примерах мы используем scikit learn, pandas, numpy и другие библиотеки python.

Что будет рассмотрено в этой статье:

Что такое проверка модели?

Удержание проверки

Для этого примера мы будем использоватьлинейная регрессиянаscikit учитьсябаза данных Калифорнии о жилье.

Как только данные будут сохранены в переменную, с которой нам будет легче работать, мы преобразуем их в фрейм данных pandas, чтобы нам было легче просматривать и работать с данными.

Теперь, когда мы увидели данные, с которыми работаем, мы можем начать процесс генерации модели и перекрестной проверки. При проверке несогласованности мы разделяем данные на набор для обучения и тестирования Обучающий набор будет тем, на чем создана модель, и данные тестирования будут использоваться для проверки сгенерированной модели. Хотя есть (довольно простые) способы сделать это с помощью методов pandas, мы можем использовать для этого метод scikit-learns «train_test_split».

Как видите, мы используем «train_test_split» с тремя параметрами: входные (X) данные, целевые (y) данные и процент данных, которые мы хотели бы удалить и поместить в набор тестовых данных, в данном случае 25% (общий сплит обычно составляет 70–30, в зависимости отна множество факторов о ваших данных). Затем мы назначаем данные разделения X и y на набор новых переменных, чтобы работать с ними позже.

Ваш вывод должен появиться в этой точке как:

Теперь, когда мы создали разделение тест / поезд, мы можем создать модель и сгенерировать некоторые прогнозы на основе данных поезда. Хотя существуют и другие методы создания модели, которые демонстрируют все больше и больше, мы будем использовать scikit learn, чтобы сделать нашу жизнь немного проще. Я включил несколько строк времени выполнения функции, которые мы будем использовать для последующего сравнения.

Мы начнем с составления графика заданных целевых данных по сравнению с прогнозируемыми целевыми данными, чтобы дать нам визуализацию того, как работает наша модель.

В идеальной модели (возможно, в случае перехвата) все наши точки данных будут находиться на этой красной линии, но, поскольку наши точки данных приближаются к этой тенденции, мы видим, что модель приблизительно соответствует тестовым данным.

Теперь давайте оценим модель, чтобы сравнить ее с последующими методами.

Это проверка модели! Мы создали модель с использованием обучающих данных, использовали ее для прогнозирования результатов в разделенном сегменте тестовых данных, а затем использовали метод оценки, чтобы определить показатель эффективности (среднеквадратичная ошибка) модели по тестовым данным. Это дает нам приблизительную оценку того, насколько хорошо модель будет работать с другими подобными наборами данных.

Теперь несколько вещей для рассмотрения. Мы проверили нашу модельодин раз, Что если сделанный нами раскол оказался очень благоприятным для этой модели? Что если сделанный нами раскол привнес большой перекос в дату? Разве мы не значительно уменьшили размер нашего учебного набора данных, разделив его так? Это несколько вопросов, которые мы рассмотрим при переходе к перекрестной проверке, но сначала несколько базовых концепций.

Каковы отклонения и отклонения в контексте проверки модели?

Чтобы понять предвзятость и дисперсию, давайте сначала обратимся к моделям подгонки. НаoverfitМодель генерируется, когда модель настолько плотно вписывается в обучающие данные, что может учитывать случайный шум или нежелательные тренды, которые не будут присутствовать или полезны при прогнозировании целей для последующих наборов данных.Underfitвозникает, когда модель не достаточно сложна для учета общих тенденций в данных, которые были бы полезны для прогнозирования целей в последующих наборах данных, таких как использование линейного подбора для полиномиального тренда. быть найденнымВот).

При создании модели мы учитываем несколько типов ошибок: ошибка валидации, ошибка тестирования, ошибка из-за смещения и ошибка из-за дисперсии в отношениях, известной как компромисс дисперсии смещения (еще один большой визуальный эффектВот).

Как упоминалось ранее, мы хотим знать, как модель будет работать «в реальном мире». Частично это является ошибкой проверки, которая состоит из ошибки из-за смещения и ошибки из-за отклонения (ошибка обучения не дает информацию о том, как Модель будет работать с будущими наборами данных и может быть отложена на данный момент).

Минимизация ошибки валидации модели требует нахождения точки сложности модели, где комбинация смещения и дисперсионной ошибки минимизирована, как показано на связанном визуале. По мере увеличения сложности модели ошибка из-за смещения уменьшается, а ошибка из-за дисперсии увеличивается, создавая компромисс между дисперсией и смещением, который мы постараемся устранить позже с помощью различных методов перекрестной проверки.

Теперь давайте определим смещение и дисперсию:

предвзятость

отклонение

Дисперсия определяется как ошибка, возникающая в результате изменчивости между различными предсказаниями данных в модели. В отличие от этого, правильные значения не имеют большого значения, как диапазон различий в значениях между прогнозами. Дисперсия также становится все более важной, когда мы запускаем несколько испытаний создания моделей.

Более полные определения и визуальные эффектыВот,

В машинном обучении смещение и дисперсия часто обсуждаются вместе как «компромисс смещения дисперсии», говоря, что минимизация одной ошибки эффективно повышает вероятность появления ошибки при создании и оценке модели. В идеале, мы бы искали модель, компромисс которой приводит ки то и другоенизкий уклон и низкая дисперсия, и мы надеемся достичь этого с помощью перекрестной проверки. В зависимости от характеристик набора данных, один метод перекрестной проверки, вероятно, будет более идеальным для достижения компромисса смещения при создании и оценке модели.

Что такое перекрестная проверка?

Что если сделанный нами раскол оказался очень благоприятным для этой модели? Что если сделанный нами раскол привнес большой перекос в дату? Разве мы не значительно уменьшили размер нашего учебного набора данных, разделив его таким образом?

K-Fold Cross Validation

При выборе значения дляКкаждая складка (группа) должна быть достаточно большой, чтобыпредставительмодели (обычнок = 10 или к = 5) и достаточно мал, чтобы быть рассчитанным в разумные сроки. В зависимости от размера набора данных иногда можно экспериментировать с различными значениями k. Как правило, какКувеличивается, смещение уменьшается и дисперсия увеличивается.

Давайте работать, хотя пример с нашим набором данных из ранее.

Мы снова воспользуемся линейной моделью, но на этот раз проведем валидацию модели с помощью метода cross_val_predict scikit learn, который сделает большую часть тяжелой работы при создании предсказаний K-Fold. В этом случае я решил установитьк = 10,

Вывод (или приблизительный):

Теперь давайте возьмем оценки 10 сгенерированных моделей и представим их в визуализации.

Вы заметите, что оценка немного ниже нуля, чем метод удержания (не очень хорошо). Мы обсудим это позже.

Оставьте одну перекрестную проверку

Leave One Out Cross Validation (LOOCV) можно рассматривать как тип проверки K-Fold, гдек = пданныйNэто количество строк в наборе данных. Кроме этого методы почти одинаковы. Однако вы заметите, что выполнение следующего кода займетмногодольше, чем предыдущие методы. Мы углубимся в это позже.

Давайте рассмотрим пример с тем же набором данных, следуя тому же процессу и изменяяК:

Генерация и средняя оценка:

Теперь давайте сравним время выполнения и оценки наших трех методов:

Давайте немного углубимся в эти результаты, а также в некоторые вопросы, поднятые ранее.

Где и когда должны быть реализованы разные методы?

Как мы заметили в результатах нашего сравнения, мы можем видеть, что метод LOOCV принимаетпутьдольше, чем два других. Это связано с тем, что этот метод создает и оценивает модель для каждой строки в наборе данных, в данном случае более 20000. Хотя наш MSE немного ниже, это может не стоить этого, учитывая дополнительные вычислительные требования. Вот некоторые эвристики, которые могут помочь в выборе метода.

Протянуть метод

Метод удержания может быть эффективным и недорогим в вычислительном отношении для очень больших наборов данных или для ограниченных вычислительных ресурсов. Это также часто легче реализовать и понять для начинающих. Тем не менее, очень редко полезно применять к небольшим наборам данных, поскольку это может значительно уменьшить доступные данные обучения и ухудшить производительность модели.

K-Fold Cross Validation

K-Fold может быть очень эффективен для наборов данных среднего размера, хотя, регулируя значение K, можно существенно изменить результаты проверки. Давайте добавим к нашему правилу из ранее; с увеличением k смещение уменьшается, а дисперсия и вычислительные требования возрастают. Перекрестная проверка K-Fold, вероятно, является наиболее распространенным из трех методов из-за универсальности корректировки значений K.

LOOCV

LOOCV наиболее полезен в небольших наборах данных, поскольку он позволяет удалять наименьшее количество данных из обучающих данных в каждой итерации. Однако в больших наборах данных процесс генерации модели для каждой строки в наборе данных может быть невероятно дорогостоящим в вычислительном отношении и, таким образом, препятствующим для больших наборов данных.

Каковы некоторые преимущества и недостатки различных методов перекрестной проверки?

Удержание Валидация

При проверке несогласованности мы делаем не что иное, как простое разбиение поезда / теста, в котором мы подгоняем нашу модель к нашим данным обучения и применяем ее к нашим данным тестирования для получения прогнозных значений. Мы «держим» данные тестирования, которые будут строго использоваться только в целях прогнозирования. Удержание проверки не является методом перекрестной проверки. Но мы должны обсудить стандартный метод оценки модели, чтобы мы могли сравнить ее атрибуты с фактическими методами перекрестной проверки.

Когда дело доходит до кода, несложная проверка проста в использовании. Реализация проста и не требует больших затрат вычислительной мощности и сложности времени. Более того, мы можем лучше интерпретировать и понимать результаты проверки несогласованности, поскольку они не требуют от нас выяснения того, как выполняются итерации в общей схеме вещей.

Однако проверка достоверности не сохраняет статистическую целостность набора данных во многих случаях. Например, несогласованная валидация, которая разбивает данные на сегменты обучения и тестирования, приводит к смещению, если не включить данные тестирования в модель. Данные тестирования могут содержать некоторые важные наблюдения. Это может привести к снижению точности модели. Кроме того, это приведет к неполному подгонке и подгонке данных в дополнение к введению ошибки проверки и / или обучения.
K-кратный

Тем не менее, с точки зрения вычислительной мощности, перекрестная проверка в k-кратном размере очень затратна. Компьютер должен выполнить несколько итераций, чтобы получить правильную оценку точности. Оценка точности модели в теории будет увеличиваться с каждой добавленной итерацией. Это уменьшит смещение при увеличении вариации. Мы увидим пример этого позже в этой статье, когда попытаемся применить k-кратную валидацию к очень большому набору данных, который содержит около 580 000 наблюдений.

LOOCV

LOOCV очень похож на K-fold, с особым случаем, когда k равно длине (или количеству выборок / рядов) всего набора данных. Таким образом, обучающий набор будет иметь длину k-1, а тестовый набор будет представлять собой одну выборку данных. LOOCV особенно полезен в том случае, если наш набор данных недостаточно велик, чтобы разумно делать Kfold. LOOCV также в целом менее затратен в вычислительном отношении, хотя обычно это происходит из-за изначально меньших наборов данных, которые стремятся его использовать.

Тем не менее, LOOCV имеет тенденцию давать высокую дисперсию из-за того, что метод будет подбирать все возможные значения шума и выбросов в данных через отдельные значения тестирования. LOOCV будет очень вычислительно дорогим для очень больших наборов данных; в этом случае было бы лучше использовать обычный K-Fold.

Когда вы не хотите использовать перекрестную проверку?

Перекрестная проверка становится вычислительно дорогостоящим и обременительным методом оценки модели при работе с большими наборами данных. Генерация значений прогноза в конечном итоге занимает очень много времени, потому что метод проверки должен запускаться k раз в стратегии K-Fold, итерируя по всему набору данных. Таким образом, перекрестная проверка становится очень дорогой стратегией оценки модели с точки зрения сложности времени. Мы исследуем это явление, выполнив обычную проверку удержания и перекрестную проверку K-Fold наочень большой набор данных с приблизительно 580 000 строк, Посмотрите, сможете ли вы выяснить, почему это работает так (и новые визуализации данных), и прокомментируйте любые вопросы. Удачи!

Точность проверки в три раза: 0,8016822371999202
Проверка K-Fold занимает 1001,0495188236237 секунд.

[[166004 46040 27 0 243 43 1902]
[41396 225886 1919 4 1808 1156 293]
[59 3704 31832 442 143 1591 0]
[0 7 267 2119 0 124 0]
[539 4504 208 0 7251 68 5]
[50 2434 1501 182 44 14385 0]
[3792 726 0 0 4 0 18310]]

Задержка проверки:

Основные условия:

Проверка модели:Любой процесс, с помощью которого сгенерированная модель сверяется с дополнительными данныминеиспользуется в процессе генерации модели. Например. перекрестная проверка, проверка K-Fold, проверка достоверности и т. д.
Перекрестная проверка:Тип проверки модели, при котором несколько подмножеств данного набора данных создаются и сверяются друг с другом, обычно с использованием итеративного подхода, требующего создания ряда отдельных моделей, эквивалентных количеству сгенерированных групп.
K-Fold Cross Validation:Тип перекрестной проверки, когда данный набор данных разбивается наКколичество групп иКколичество моделей генерируется. Одна из групп выбрана в качестве тестовых данных, а другаяк-1группы используются в качестве обучающих данных, а модель генерируется и оценивается. Этот процесс повторяетсяКвремена такие, что каждая k-кратная (группа) служит в качестве группы тестирования один раз.
LOOCV:Тип перекрестной проверки, аналогичный проверке K-Fold, гдеКравна длине набора данных, на котором выполняется проверка.
Уклон:Ошибка, возникающая из-за разницы между ожидаемым значением (ями) модели и фактическим (или «правильным») значением (ями), которое мы хотим предсказать в течение нескольких итераций. В научных представлениях о точности и точности предвзятость очень похожа на точность.
Разница:Ошибка в результате изменчивости между различными предсказаниями данных в модели. В отличие от этого, правильные значения не имеют большого значения, как диапазон различий в значениях между прогнозами. Дисперсия также становится все более важной, когда мы запускаем несколько испытаний создания моделей.
Подгонка:Происходит, когда модель настолько плотно вписывается в обучающие данные, что может учитывать случайный шум или нежелательные тренды, которые не будут присутствовать или полезны при прогнозировании целей для последующих наборов данных.
Более подходят:Происходит, когда модель недостаточно сложна для учета общих тенденций в данных, которые могут быть полезны при прогнозировании целей в последующих наборах данных, например, при использовании линейного соответствия полиномиальной тенденции.
Отклонение от смещения:Идея, что из-за ошибки из-за смещения уменьшается ошибка из-за увеличения дисперсии, создает компромисс, который следует минимизировать при валидации модели и других обстоятельствах.

Источник