Современная математика глубокого обучения

Покрытие классификаторов и их потерь

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Для двоичных меток и предсказаний ±1 потеря ноль-один равна (1−yf(x))/2. Расстояние между двумя потерями равно половине расстояния между их предсказаниями на выборке.

Учебный пример содержит один размеченный вход и два постоянных классификатора +1 и −1.

Это позволяет источнику преобразовать задачу покрытия семейства потерь в задачу покрытия классификаторов.

Пример формулы источника

N_{\alpha}({\mathcal{G}},d_{S})=N_{2\alpha}({\mathcal{F}},d_{(X^{(i)})_{i=1}^{m}}).

Иллюстрация · Числа покрытия точны для этого конечного семейства из двух функций. Отдельное выражение VC опускает скрытую константу в ≲ и само по себе не является точной верхней границей.

Обозначения

$ℱ$: Семейство двоичных классификаторов со значениями в {−1,1}.
$\mathcal{G}$: Связанное семейство потерь ноль-один.
$α$: Положительный радиус покрытия; оценка VC использует α в (0,1).

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Радиус α

Поток данных в этом примере

Вы выбираете

input.alpha = 0,5

Начальные значения в коде

predictions = [-1, 1]
label = 1
vcDimension = 1

Вычисляется здесь

Выражение результата: { predictions, losses, lossDistance, predictionDistance, lossCover, classifierCover, logCoverAtAlpha: Math.log(classifierCoverAtAlpha), hausslerScale: alpha < 1 ? vcDimension * Math.log(1 / alpha) : null, }

alpha = input.alpha Использует: input.alpha
losses = predictions.map((prediction) => (1 - label * prediction) / 2) Использует: predictions, label
predictionDistance = Math.abs(predictions[0] - predictions[1]) Использует: predictions
lossDistance = Math.abs(losses[0] - losses[1]) Использует: losses
lossCover = lossDistance < alpha ? 1 : 2 Использует: lossDistance, alpha
classifierCover = predictionDistance < 2 * alpha ? 1 : 2 Использует: predictionDistance, alpha
classifierCoverAtAlpha = predictionDistance < alpha ? 1 : 2 Использует: predictionDistance, alpha

Возвращает

Пример результата

predictions: массив (2 элементов): [-1, 1]
losses: массив (2 элементов): [1, 0]
lossDistance: 1
predictionDistance: 2
lossCover: 2
classifierCover: 2
logCoverAtAlpha: ≈0,6931
hausslerScale: ≈0,6931

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Тождество источника предполагает двоичные предсказания и метки в {−1,1} и указанные псевдометрики на выборке. Оценка VC ограничивает логарифм числа покрытия с точностью до скрытой константы для α∈(0,1). Два постоянных классификатора разбивают одну точку, но не могут присвоить противоположные метки двум точкам, поэтому их размерность VC равна 1.

Источник: Формула из статьи