Современная математика глубокого обучения

Пример сжатия Радемахера

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.2 Размер весов и запас при классификации

Сравните сложность после ReLU с удвоенной исходной сложностью.

Неравенство сжатия используется для послойного ограничения сложности.

Пример формулы источника

{\mathfrak{R}}_{m}(\varrho\circ\widetilde{{\mathcal{F}}}_{\ell,C})\leq 2{\mathfrak{R}}_{m}(\widetilde{{\mathcal{F}}}_{\ell,C}),\quad\ell\in{\mathbb{N}}.

Иллюстрация · Вычисление иллюстрирует один слой и одно распределение, но не является доказательством сжатия.

Обозначения

$Rₘ$: Ожидаемая сложность Радемахера.
$ϱ$: Активация; в примере ReLU.
$F̃ℓ,C$: Семейство сетей с ограниченной нормой.
$m$: Размер выборки.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Предел веса

Поток данных в этом примере

Вы выбираете

input.C = 1

Начальные значения в коде

tau = [-1, 1]

Вычисляется здесь

Выражение результата: { originalComplexity: mean(originalSuprema), activatedComplexity: mean(reluSuprema), upperBound: 2 * mean(originalSuprema), }

C = input.C Использует: input.C
originalSuprema = tau.map((sign) => Math.max(Math.abs(sign * -C), Math.abs(sign * C)), ) Использует: tau, C
reluSuprema = tau.map((sign) => Math.max(Math.abs(sign * 0), Math.abs(sign * C))) Использует: tau, C

Возвращает

Пример результата

originalComplexity: 1
activatedComplexity: 1
upperBound: 2

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

При m=1, фиксированном X=1 и F={x↦wx: |w|≤C} перечислим τ=±1 с равной вероятностью. Супремум использует модуль знакового значения. Исходное семейство имеет диапазон [−C,C], а выходы ReLU — [0,C]; оба супремума равны C для любого знака. Их ожидаемые сложности равны C, а верхняя граница сжатия равна 2C. Теорема источника использует положительно однородную активацию с константой Липшица 1 и указанное семейство сетей.

Источник: Выражение из статьи