Современная математика глубокого обучения

Пример границы отступа

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.2 Размер весов и запас при классификации

Сравните риск классификации и суррогатную потерю, затем вычислите известные члены выборочного отступа и концентрации.

Граница отступа связывает наблюдаемые обучающие отступы с риском классификации генеральной совокупности.

Пример формулы источника

\begin{split}{\mathbbm{P}}[{\operatorname{sgn}}(f(X))\neq Y]\leq{\mathbbm{E}}\big[{\mathcal{L}}^{\mathrm{surr}}_{\gamma}(f,Z)\big]&\lesssim\frac{1}{m}\sum_{i=1}^{m}{\mathcal{L}}^{\mathrm{surr}}_{\gamma}(f,Z^{(i)})+{\mathfrak{R}}_{m}({\mathcal{L}}^{\mathrm{surr}}_{\gamma}\circ{\mathcal{F}}_{{{a}}})+\sqrt{\frac{\ln(1/\delta)}{m}}\\ &\lesssim\frac{1}{m}\sum_{i=1}^{m}\mathds{1}_{(-\infty,\gamma)}(Y^{(i)}f(X^{(i)}))+\frac{{\mathfrak{R}}_{m}(M\circ{\mathcal{F}}_{{a}})}{\gamma}+\sqrt{\frac{\ln(1/\delta)}{m}}\\ &=\frac{1}{m}\sum_{i=1}^{m}\mathds{1}_{(-\infty,\gamma)}(Y^{(i)}f(X^{(i)}))+\frac{{\mathfrak{R}}_{m}({\mathcal{F}}_{{{a}}})}{\gamma}+\sqrt{\frac{\ln(1/\delta)}{m}}.\end{split}

Иллюстрация · Одноэлементное семейство — конечное ограничение, а не полное семейство гипотез сети. Эта проверка не устанавливает границу высокой вероятности источника.

Обозначения

$f$: Функция оценок классификатора.
$γ$: Положительный порог отступа.
$δ$: Вероятность ошибки в (0,1).
$Rₘ$: Сложность Радемахера.
$M(f,z)$: Знаковый отступ Yf(X).
$≲$: Неравенство с точностью до неуказанной константы.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Вероятность ошибки δ

Поток данных в этом примере

Вы выбираете

input.delta = 0,25

Начальные значения в коде

gamma = 0.5
margin = 1
classificationRisk = 0
surrogateLoss = 0
signs = [-1, 1]

Вычисляется здесь

Выражение результата: { classificationRisk, surrogateLoss, empiricalBelowMargin, lossComplexity, marginComplexity, classComplexity, contractionTerm, concentration, theoremConstants: null, fullUpperBounds: null, }

empiricalBelowMargin = margin < gamma ? 1 : 0 Использует: margin, gamma
lossComplexity = complexity(surrogateLoss) Использует: complexity, surrogateLoss
marginComplexity = complexity(margin) Использует: complexity, margin
classComplexity = complexity(1) Использует: complexity
contractionTerm = classComplexity / gamma Использует: classComplexity, gamma
concentration = Math.sqrt(Math.log(1 / input.delta)) Использует: input.delta

Возвращает

Пример результата

classificationRisk: 0
surrogateLoss: 0
empiricalBelowMargin: 0
lossComplexity: 0
marginComplexity: 1
classComplexity: 1
contractionTerm: 2
concentration: ≈1,177

… (10 элементов)

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Вымышленное распределение имеет один атом (X,Y)=(1,1); учебное семейство содержит только f(x)=1, и m=1. Отступ равен 1, γ=1/2, а риск классификации и суррогатная потеря равны нулю. По определению источника с абсолютным значением семейство нулевых потерь имеет сложность Радемахера 0, а одноэлементные семейства отступов и оценок — по 1: при любом случайном знаке модуль знакового значения равен 1. Сложность оценок, делённая на γ, равна 2. Граница высокой вероятности источника равномерна по семейству сетей и использует неуказанные положительные константы, поэтому полные численные границы недоступны.

Источник: Выражение из статьи