Современная математика глубокого обучения

Матрица, близкая к единичной

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Векторы и матрицы · Описывают операции над векторами и матрицами.

Векторы проекта имеют два признака; обучающая матрица содержит n строк и два столбца. Инструменты применимы, когда выполнены их предположения.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Сравните операторную норму с произведением числа столбцов и наибольшего абсолютного значения элемента.

Этот пример делает утверждение источника вычислимым на конечной модели.

Пример формулы источника

\|\widetilde{W}^{(2)}\widetilde{A}-\mathrm{I}_{m}\|_{\mathrm{op}}\leq m\max_{i,j\in[m]}\big|(\widetilde{W}^{(2)}\widetilde{A}-\mathrm{I}_{m})_{i,j}\big|=m\max_{j\in[m]}\|\Phi_{\tilde{a}}(x^{(j)},\tilde{\theta})-g(x^{(j)})\|_{\infty}<1,

Иллюстрация · Здесь проверяется вся цепочка неравенств для диагонального примера; сеть приближения из источника не строится.

Обозначения

$W̃⁽²⁾$: Выбранная матрица выходных весов.
$Ã$: Матрица активаций скрытого слоя.
$Iₘ$: Единичная матрица m на m.
$\Vert ·\Vert op$: Евклидова операторная норма.
$\Vert ·\Vert ∞$: Наибольший модуль элемента вектора.
$m$: Число обучающих точек.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Диагональная ошибка

Поток данных в этом примере

Вы выбираете

input.epsilon = 0,1

Вычисляется здесь

Выражение результата: { residual, operatorNorm, maxEntry, maxColumnInfinityNorm, bound: 2 * maxEntry, belowOne: 2 * maxEntry < 1, }

epsilon = input.epsilon Использует: input.epsilon
residual = [ [epsilon, 0], [0, -epsilon], ] Использует: epsilon
operatorNorm = Math.abs(epsilon) Использует: epsilon
maxEntry = Math.abs(epsilon) Использует: epsilon
maxColumnInfinityNorm = Math.abs(epsilon) Использует: epsilon

Возвращает

Пример результата

residual: массив (2 элементов): [массив (2 элементов): [0,1, 0], массив (2 элементов): [0, -0,1]]
operatorNorm: 0,1
maxEntry: 0,1
maxColumnInfinityNorm: 0,1
bound: 0,2
belowOne: истина

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Пусть m=2, W̃⁽²⁾=I и Ã=diag(1+ε,1−ε); целевые столбцы являются столбцами единичной матрицы. Диагональная остаточная матрица имеет операторную норму |ε|, а наибольшая ошибка столбца равна максимальному модулю элемента.

Источник: Формула из статьи