Современная математика глубокого обучения

Оценка разреженного приближения

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Прореживание · Описывает удаление весов сети и связанные границы ошибки.

Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 6.5 Удаление связей

Сравните конечную ошибку приближения с обеими оценками из рассуждения источника о прореживании.

Эти операции определяют структурированные слои сети и их анализ.

Пример формулы источника

\left\|\Phi_{a}(\cdot,\theta)-\sum_{i\in I}c_{i}f_{i}\right\|_{L^{2}(\mu)}\leq\frac{\|w^{(2)}\|_{1}}{\sqrt{|I|}}\leq\frac{\sqrt{200}\|w^{(2)}\|_{1}}{\sqrt{n}},

Иллюстрация · Этот частный пример с нулевой ошибкой не строит разреженное приближение источника в общем случае и не устанавливает результат существования.

Обозначения

$I$: Выбранное непустое множество индексов скрытых элементов.
$fᵢ$: Масштабированный скрытый признак i.
$cᵢ$: Действительные коэффициенты.
$μ$: Вероятностная мера в предположениях источника.
$\Vert w⁽²⁾\Vert ₁$: Сумма абсолютных значений выходных весов.
$n$: Исходное число скрытых элементов.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Исходное число элементовНорма L1 выходных весов

Поток данных в этом примере

Вы выбираете

input.n = 100
input.norm = 2

Начальные значения в коде

networkValue = 0
approximation = 0

Вычисляется здесь

Выражение результата: { count, countLowerBound: n / 200, countBoundHolds: count >= n / 200, error, firstBound, secondBound, }

n = input.n Использует: input.n
norm = input.norm Использует: input.norm
count = Math.floor(n / 100) Использует: n
error = Math.abs(networkValue - approximation) Использует: networkValue, approximation
firstBound = norm / Math.sqrt(count) Использует: norm, count
secondBound = (Math.sqrt(200) * norm) / Math.sqrt(n) Использует: norm, n

Возвращает

Пример результата

count: 1
error: 0
firstBound: 2
secondBound: ≈2,828
countLowerBound: 0,5
countBoundHolds: истина

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник выбирает |I| = floor(n/100), что не меньше n/200 при n ≥ 100. Пример вычисляет поточечную ошибку для нулевого входа с нулевыми смещениями и мерой L², сосредоточенной там, поэтому ошибка равна нулю; затем вычисляются обе правые оценки. Источник получает коэффициенты с помощью леммы о выпуклой оболочке; произвольный выбор не обеспечивает оценку автоматически.

Источник: Выражение из статьи