Современная математика глубокого обучения

Утверждение о разделении по глубине

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 3.1 Правило, зависящее от расстояния

Теорема строит трёхслойную цель, для которой все достаточно узкие двухслойные сети имеют ошибку не менее c.

Код проверяет численное условие ширины для выбранных иллюстративных констант.

Более глубокая сеть может представлять некоторые функции гораздо эффективнее неглубокой.

Пример формулы источника

\inf_{\theta\in{\mathbb{R}}^{P((d,n,1))}}\|\Phi_{((d,n,1),\varrho)}(\cdot,\theta)-\Phi_{{{a}}}(\cdot,\theta^{*})\|_{L^{2}(\mu)}\geq c.

Иллюстрация · Константы иллюстративны, включая C = 1 в проверке размерности. Проверка одного условия ширины не строит цель, не измеряет её ошибку и не доказывает теорему.

Обозначения

$μ$: Вероятностная мера, построенная теоремой.
$c,C$: Положительные константы, существование которых утверждается.
$n$: Число скрытых нейронов в двухслойной приближающей сети.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Иллюстративная константа cРазмерность dШирина n

Поток данных в этом примере

Вы выбираете

input.c = 1
input.d = 2
input.n = 4

Вычисляется здесь

Выражение результата: { widthLimit, widthCondition: input.n <= widthLimit, dimensionCondition: input.d >= 1, illustrativeC: 1, statedLowerBound: input.c, }

widthLimit = input.c * Math.exp(input.c * input.d) Использует: input.c, input.d

Возвращает

Пример результата

widthLimit: ≈7,389
widthCondition: истина
dimensionCondition: истина
illustrativeC: 1
statedLowerBound: 1

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник допускает активации ReLU, логистическую или Хевисайда и утверждает существование положительных c,C. Для каждого положительного целого d ≥ C он строит вероятностную меру на ℝᵈ и трёхслойную цель с ширинами не более Cd⁵, модулями параметров не более Cd^C и модулем выхода не более 2. Для всех n ≤ c exp(cd) наилучшее двухслойное приближение имеет ошибку L²(μ) не менее c. Теорема не утверждает это для каждой цели или каждой вероятностной меры.

Источник: Выражение из статьи