Современная математика глубокого обучения

Изменение признака после движения параметров

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Теория оптимизации · Изучает сходимость и геометрию потерь при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Ту же формулу градиента по выходным весам можно вычислить после изменения параметров с новыми признаками и ошибками.

Сравнение проверяет, сохраняется ли нижняя оценка градиента после изменения параметров.

Пример формулы источника

\begin{split}\|\nabla_{\theta}{r}(\Theta+\bar{\theta})\|_{2}^{2}&\geq\frac{4}{m^{2}}\Big\|\sum_{i=1}^{m}\nabla_{\theta^{(2)}}\Phi(x^{(i)},\Theta+\bar{\theta})(\Phi(x^{(i)},\Theta+\bar{\theta})-y^{(i)})\Big\|_{2}^{2}\\ &\!\!\underset{\text{(5.5)}}{=}\frac{4}{m^{2}}\Big\|\sum_{i=1}^{m}(\nabla_{\theta^{(2)}}\Phi(x^{(i)},\Theta)+{\mathcal{O}}(1))(\Phi(x^{(i)},\Theta+\bar{\theta})-y^{(i)})\Big\|_{2}^{2}\\ &\underset{(*)}{\gtrsim}\frac{1}{m^{2}}(\lambda_{\min}(\bar{K}_{\Theta})+{\mathcal{O}}(1))\|(\Phi(x^{(i)},\Theta+\bar{\theta})-y^{(i)})_{i=1}^{m}\|_{2}^{2}\\ &\gtrsim\frac{n}{m}{r}(\Theta+\bar{\theta}),\end{split}

Иллюстрация · Это частное возмущение не устанавливает устойчивость для общих изменений параметров или теорему сходимости источника.

Обозначения

$Θ$: Параметры инициализации.
$θ̄$: Смещение параметров.
$r$: Квадратичная обучающая потеря.
$K̄$: Матрица Грама выходного градиента при инициализации.
$O(1), ≳$: Асимптотические члены с константами при предположениях источника.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Смещение выходного веса

Поток данных в этом примере

Вы выбираете

input.change = 0,5

Начальные значения в коде

initialization = [1, 1]

Вычисляется здесь

Выражение результата: { initialization, displacement, perturbed, risk, fullSquaredNorm: fullGradient.reduce((s, v) => s + v * v, 0), outputSquaredNorm: outputGradient ** 2, initialGram: 1, perturbedGram: 1, eigenLowerBound: 4 * risk, width...

a = 1 + input.change Использует: input.change
error = a Использует: a
risk = error ** 2 Использует: error
outputGradient = 2 * error Использует: error
fullGradient = [outputGradient, 2 * error * a] Использует: outputGradient, error, a
displacement = [input.change, 0] Использует: input.change
perturbed = [a, 1] Использует: a

Возвращает

Пример результата

risk: 2,25
fullSquaredNorm: 29,25
outputSquaredNorm: 9
initialGram: 1
perturbedGram: 1
eigenLowerBound: 9
widthScaledRisk: 2,25
chosenConstant: 4

… (11 элементов)

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Для Φ = awx с одним x = 1, целью 0 и w = 1 изменим a от 1 до 1 + смещение. Признак и собственное значение матрицы Грама остаются постоянными, поэтому слагаемое изменения признака равно нулю. Последнее сравнение использует выбранную условную константу 4; источник использует асимптотические члены O(1) и нижнюю оценку с высокой вероятностью при собственных предположениях. Обсуждение обучения источника предполагает гладкую неаффинную активацию, разные обучающие входы, квадратичную потерю и независимые гауссовы начальные параметры скрытого и выходного слоёв с дисперсией 1/n. Утверждения о высокой вероятности и сходимости требуют дополнительных указанных условий ширины, окрестности и размера шага. Шаг сравнения собственных значений Грама отмечен в источнике знаком (*); пример вычисляет его явно.

Источник: Выражение из статьи