Современная математика глубокого обучения

Граница приближения Соболева

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2.2 Может ли сеть представить нужную функцию?

Наилучшая ошибка приближения ограничена константой, множителем ширины и нормой гладкости функции.

Этот пример делает утверждение источника вычислимым на конечной модели.

Пример формулы источника

\inf_{\theta^{(2)}\in{\mathbb{R}}^{1\times n}\times{\mathbb{R}}}\|\Phi_{{a}}(\cdot,(\theta^{(1)},\theta^{(2)}))-g\|_{L^{p}((0,1)^{d})}\leq cn^{-\frac{d}{k}}\|g\|_{W^{k,p}((0,1)^{d})}.

Иллюстрация · Случай нулевой функции не может проверить общий темп приближения или определить c.

Обозначения

$g$: Функция в Wᵏ,ᵖ((0,1)ᵈ).
$n$: Положительная ширина скрытого слоя.
$d,k$: Положительные размерность и порядок гладкости.
$p$: Показатель в [1,∞].
$c$: Положительная константа существования, численно не указанная.
$θ⁽¹⁾$: Скрытые параметры, выбранные в теореме.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Скрытые нейроны

Поток данных в этом примере

Вы выбираете

input.width = 2

Начальные значения в коде

functionNorm = 0
bestError = 0

Вычисляется здесь

Выражение результата: { bestError, rateFactor, functionNorm, upperBound: 0, theoremConstant: null }

n = input.width Использует: input.width
rateFactor = n ** -1 Использует: n

Возвращает

Пример результата

bestError: 0
rateFactor: 0,5
functionNorm: 0
upperBound: 0
theoremConstant: null

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Положим d=k=1, возьмём g=0 и нулевые выходные параметры. Неотрицательная наилучшая ошибка и норма Соболева равны нулю; граница равна нулю независимо от неизвестной c. Теорема источника предполагает гладкую неполиномиальную активацию и утверждает, что для каждого n существуют параметры первого слоя, работающие для каждого g в указанном пространстве Соболева. Показатель воспроизведён как напечатан в источнике.

Источник: Формула из статьи