Современная математика глубокого обучения

Масштабы размера приближения

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 3.1 Правило, зависящее от расстояния · 4.1 Один регулятор — много чисел

Источник обсуждает эти выражения как масштабы размера при разных структурных предположениях. Обозначение O-большое скрывает константы и описывает поведение при уменьшении ε.

Первые два масштаба возникают при обсуждении радиальных функций; третий относится к локализованным функциям в аргументе о многообразии.

Необходимый размер может сильно зависеть от размерности и гладкости.

Пример формулы источника

{\mathcal{O}}(C/{\varepsilon})

Иллюстрация · Код вычисляет видимые множители. Константы O-большого, точные размеры сети и ошибки приближения не вычисляются.

Обозначения

$C$: Константа Липшица в первом масштабе.
$ε$: Положительная целевая ошибка.
$d$: Размерность объемлющего пространства.
$d^{\prime}$: Внутренняя размерность многообразия.
$k$: Порядок гладкости.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Константа Липшица CТочность εРазмерность dВнутренняя размерность d′Гладкость k

Поток данных в этом примере

Вы выбираете

input.C = 2
input.epsilon = 0,5
input.d = 2
input.intrinsic = 1
input.k = 2

Вычисляется здесь

Выражение результата: { oneDimensionalScale: C / epsilon, squaredNormScale: d ** 2 / epsilon, manifoldScale: epsilon ** (-(intrinsic + 1) / k), }

C = input.C Использует: input.C
epsilon = input.epsilon Использует: input.epsilon
d = input.d Использует: input.d
intrinsic = input.intrinsic Использует: input.intrinsic
k = input.k Использует: input.k

Возвращает

Пример результата

oneDimensionalScale: 4
squaredNormScale: 8
manifoldScale: 2

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Обсуждение радиальных функций использует C-липшицеву функцию одной переменной на [0,1] и линейную интерполяцию, затем обсуждает квадрат евклидовой нормы на [0,1]ᵈ. Обсуждение многообразия использует компактное вложенное многообразие, локальные карты и достаточно гладкие локализованные функции; масштаб локализованного приближения указан при ε→0. Каждое выражение O-большого скрывает константы и имеет собственные предположения.

Источник: Масштабы размера приближения