Современная математика глубокого обучения

Условие глубины и ширины

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 3.2 Простые участки и много слоёв

Теорема даёт нижнюю границу наилучшей равномерной ошибки приближения, когда сеть ReLU слишком мала при указанном условии ширины.

Код вычисляет этот порог ширины для иллюстративных входов.

Для некоторых гладких неаффинных функций ограниченная глубина и размер ограничивают точность приближения.

Пример формулы источника

\inf_{\theta\in{\mathbb{R}}^{P(N)}}\|\Phi_{{a}}(\cdot,\theta)-g\|_{L^{\infty}([0,1]^{d})}\geq{\varepsilon}.

Иллюстрация · Код вычисляет указанное условие размера с иллюстративной константой. Он не строит сеть и не вычисляет её наилучшую ошибку приближения.

Обозначения

$g$: Дважды непрерывно дифференцируемая неаффинная функция на [0,1]ᵈ.
$L$: Целая глубина сети не менее 2.
$ε$: Положительный уровень ошибки меньше 1.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Иллюстративная константа cТочность εГлубина LЧисло нейронов

Поток данных в этом примере

Вы выбираете

input.c = 1
input.epsilon = 0,25
input.depth = 2
input.neurons = 2

Вычисляется здесь

Выражение результата: { threshold, sizeCondition: neurons <= threshold, statedErrorLowerBound: epsilon, }

c = input.c Использует: input.c
epsilon = input.epsilon Использует: input.epsilon
depth = input.depth Использует: input.depth
neurons = input.neurons Использует: input.neurons
threshold = c * epsilon ** (-1 / (2 * (depth - 1))) Использует: c, epsilon, depth

Возвращает

Пример результата

threshold: 2
sizeCondition: истина
statedErrorLowerBound: 0,25

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Для каждой положительной размерности d, глубины L ≥ 2 и неаффинной g в C²([0,1]ᵈ) источник утверждает существование положительной c. Для каждого ε в (0,1) и каждой L-слойной архитектуры ReLU со скалярным выходом и общим числом нейронов ‖N‖₁ не более c ε^(−1/(2(L−1))) наилучшая равномерная ошибка приближения не меньше ε. Источник не задаёт значение c, а пример не устанавливает предположения.

Источник: Выражение из статьи