Современная математика глубокого обучения

Оценка наименьшего собственного значения

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Теория оптимизации · Изучает сходимость и геометрию потерь при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Наименьшее собственное значение положительно полуопределённой матрицы Грама даёт нижнюю границу её квадратичной формы.

Наименьшее собственное значение связывает длину остатка с нижней оценкой градиента.

Пример формулы источника

\|\nabla_{\theta}{r}(\Theta)\|_{2}^{2}\geq\frac{4}{m^{2}}\lambda_{\min}(\bar{K}_{\Theta})\|(\Phi(x^{(i)},\Theta)-y^{(i)})_{i=1}^{m}\|_{2}^{2}\gtrsim\frac{n}{m}{r}(\Theta).

Иллюстрация · Выбранная константа не выдаётся за константу теоремы источника. Один пример не доказывает теорему.

Обозначения

$∇θr$: Градиент обучающей потери по всем параметрам сети.
$λmin$: Наименьшее собственное значение симметричной матрицы Грама.
$m,n$: Числа обучающих примеров и скрытых узлов.
$≳$: Неравенство с точностью до положительной константы при предположениях источника.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Выходной вес

Поток данных в этом примере

Вы выбираете

input.outputWeight = 1

Начальные значения в коде

minEigenvalue = 1

Вычисляется здесь

Выражение результата: { risk, fullSquaredNorm, eigenLowerBound, widthScaledRisk, chosenConstant: 4, scaledLowerBound: 4 * widthScaledRisk, }

a = input.outputWeight Использует: input.outputWeight
error = a Использует: a
risk = error ** 2 Использует: error
fullGradient = [2 * error, 2 * error * a] Использует: error, a
fullSquaredNorm = fullGradient.reduce((sum, v) => sum + v * v, 0) Использует: fullGradient
eigenLowerBound = 4 * minEigenvalue * error ** 2 Использует: minEigenvalue, error
widthScaledRisk = risk Использует: risk

Возвращает

Пример результата

risk: 1
fullSquaredNorm: 8
eigenLowerBound: 4
widthScaledRisk: 1
chosenConstant: 4
scaledLowerBound: 4

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Условная сеть Φ = awx имеет один вход x = 1, нулевую цель и фиксированное w = 1; m = n = 1. Наименьшее собственное значение матрицы Грама 1×1 равно 1. Последнее сравнение использует константу 4, выбранную только для примера. Асимптотическая константа и утверждение источника о собственном значении с высокой вероятностью зависят от его предположений. Обсуждение обучения предполагает гладкую неаффинную активацию, разные обучающие входы, квадратичную потерю и независимые гауссовы начальные параметры скрытого и выходного слоёв с дисперсией 1/n. Утверждения о высокой вероятности и сходимости требуют дополнительных указанных условий ширины, окрестности и размера шага.

Источник: Выражение из статьи