Современная математика глубокого обучения

Граничный случай напечатанного неравенства отступа

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.3 Путь обучения имеет значение

Правило знака статьи присваивает +1 при нулевой оценке. Для одного примера x=1, y=1, θ-hat=1 и δ=1 каждый параметр в замкнутой окрестности радиуса 1 имеет нулевую потерю классификации.

Тем не менее напечатанное граничное выражение имеет отступ 0, поэтому утверждение о строгом 0 < отступе в этом случае не выполняется.

Пример различает нулевую ошибку классификации и строго положительный отступ на границе.

Пример формулы источника

0<\min_{i\in[m]}y^{(i)}\langle\hat{\theta}-\delta y^{(i)}\tfrac{x^{(i)}}{\|x^{(i)}\|_{2}},x^{(i)}\rangle\leq\gamma(\hat{\theta})-\delta\min_{i\in[m]}\|x^{(i)}\|_{2},

Точное вычисление · Показан граничный случай при правиле знака статьи. Он не определяет предполагаемую поправку и не опровергает другие границы отступа.

Обозначения

$θ̂$: Предлагаемый минимизирующий параметр.
$δ$: Радиус окрестности параметра.
$x,y$: Ненулевой обучающий вход и двоичная метка.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

thetaHat = 1
delta = 1
x = 1
y = 1

Вычисляется здесь

Выражение результата: { thetaHat, delta, boundaryTheta, boundaryScore, predictedLabel, boundaryLoss, boundaryMargin, strictPositive: boundaryMargin > 0, }

boundaryTheta = thetaHat - (delta * y * x) / Math.abs(x) Использует: thetaHat, delta, y, x
boundaryScore = boundaryTheta * x Использует: boundaryTheta, x
predictedLabel = boundaryScore >= 0 ? 1 : -1 Использует: boundaryScore
boundaryLoss = predictedLabel === y ? 0 : 1 Использует: predictedLabel, y
boundaryMargin = y * boundaryScore Использует: y, boundaryScore

Возвращает

Пример результата

thetaHat: 1
delta: 1
boundaryTheta: 0
boundaryScore: 0
predictedLabel: 1
boundaryLoss: 0
boundaryMargin: 0
strictPositive: ложь

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник предполагает потерю классификации ноль-один, линейно разделимые обучающие данные и нулевую потерю во всей окрестности радиуса δ. Для показанного примера замкнутая окрестность равна [0,2], а все оценки неотрицательны. Статья определяет sign(0)=+1, поэтому все эти оценки правильно классифицируют положительную метку. Конкретное граничное возмущение даёт оценку 0 и отступ 0. Источник печатает строго положительное неравенство; вычисление не предлагает способ его исправить.

Источник: Напечатанное неравенство устойчивого отступа