Современная математика глубокого обучения

Предельная кривая дисперсии

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.4 Двойной спуск

Источник даёт это выражение как асимптотический член дисперсии, когда отношение размерности входа к размеру выборки стремится к κ.

Выражение не определено при κ = 1. С обеих сторон оно неограниченно растёт при приближении κ к 1.

В этой конкретной модели выражение помогает объяснить пик около порога интерполяции.

Пример формулы источника

{\operatorname{Tr}}\big(\Sigma^{+}{\mathbbm{E}}[XX^{T}]\big)\to\frac{1-\max\{1-\kappa,0\}}{|1-\kappa|}\quad\text{для}\quad d,m\to\infty\quad\text{при}\quad\frac{d}{m}\to\kappa,

Иллюстрация · Вычисляется предельная формула, а не дисперсия конечного набора данных. Она не определена при κ = 1 и не является универсальной кривой двойного спуска.

Обозначения

$κ$: Положительное предельное отношение d/m; показанная формула конечна только вдали от 1.
$d,m$: Размерность входа и размер выборки, оба стремящиеся к бесконечности в пределе.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Отношение размерности к выборке κ

Поток данных в этом примере

Вы выбираете

input.kappa = 2

Вычисляется здесь

Выражение результата: { limitingVariance: (1 - Math.max(1 - kappa, 0)) / Math.abs(1 - kappa) }

kappa = input.kappa Использует: input.kappa

Возвращает

Пример результата

limitingVariance: 1

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник рассматривает центрированную линейную модель с независимым центрированным шумом и минимизатором эмпирического риска с минимальной евклидовой нормой. Для выражения дисперсии истинный параметр задан нулём, а дисперсия шума — единицей. Элементы X независимы и одинаково распределены, с единичной дисперсией и ограниченным пятым моментом. Указанный предел выполняется почти наверное при d,m→∞ и d/m→κ; калькулятор вычисляет правую часть вдали от κ=1.

Источник: Предельная дисперсия