Современная математика глубокого обучения

Градиент по выходным весам и ядро

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Теория оптимизации · Изучает сходимость и геометрию потерь при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Для квадратичной потери градиент по выходным весам — удвоенное среднее произведений каждой ошибки на её вектор признаков.

Полный градиент содержит градиент по выходным весам, дающий нижнюю оценку квадрата полной нормы.

Пример формулы источника

\begin{split}\|\nabla_{\theta}{r}(\Theta)\|_{2}^{2}&\geq\frac{4}{m^{2}}\Big\|\sum_{i=1}^{m}\nabla_{\theta^{(2)}}\Phi(x^{(i)},\Theta)(\Phi(x^{(i)},\Theta)-y^{(i)})\Big\|_{2}^{2}\\ &=\frac{4}{m^{2}}\big((\Phi(x^{(i)},\Theta)-y^{(i)})_{i=1}^{m}\big)^{T}\bar{K}_{\Theta}(\Phi(x^{(j)},\Theta)-y^{(j)})_{j=1}^{m},\end{split}

Иллюстрация · Это точное вычисление по одному примеру не устанавливает неравенство для произвольных сетей или сходимость обучения.

Обозначения

$r$: Средняя квадратичная обучающая потеря.
$Θ$: Вектор параметров сети.
$K̄$: Матрица Грама градиента по выходным весам.
$m$: Положительное число обучающих примеров.
$Φ(x⁽ⁱ⁾,Θ)−y⁽ⁱ⁾$: Остаток для обучающего примера i.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Выходной вес

Поток данных в этом примере

Вы выбираете

input.outputWeight = 1

Начальные значения в коде

w = 1
x = 1

Вычисляется здесь

Выражение результата: { fullGradient, fullSquaredNorm: fullGradient.reduce((sum, v) => sum + v * v, 0), gram, quadratic, outputGradientSquared, }

a = input.outputWeight Использует: input.outputWeight
error = a * w * x Использует: a, w, x
fullGradient = [2 * error * w * x, 2 * error * a * x] Использует: error, w, x, a
gram = (w * x) ** 2 Использует: w, x
quadratic = error * gram * error Использует: error, gram
outputGradientSquared = 4 * quadratic Использует: quadratic

Возвращает

Пример результата

fullGradient: массив (2 элементов): [2, 2]
fullSquaredNorm: 8
gram: 1
quadratic: 1
outputGradientSquared: 4

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Условная сеть с одним узлом имеет Φ(x) = awx, единственный вход x = 1 и нулевую цель. Её полный градиент по параметрам имеет два элемента. При m = 1 величина 4/m² равна 4. Вычислены обе стороны первого неравенства и равенство с матрицей Грама. Обсуждение обучения источника предполагает гладкую неаффинную активацию, разные обучающие входы, квадратичную потерю и независимые гауссовы начальные параметры скрытого и выходного слоёв с дисперсией 1/n. Утверждения о высокой вероятности и сходимости требуют дополнительных указанных условий ширины, окрестности и размера шага.

Источник: Выражение из статьи