Современная математика глубокого обучения

Сравнение с верхней оценкой градиента

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Теория оптимизации · Изучает сходимость и геометрию потерь при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Сравните квадрат градиента с постоянным множителем ширины, делённой на число примеров и умноженной на потерю.

Источник использует верхнюю оценку, чтобы рассуждать о пути обучения.

Пример формулы источника

\|\nabla_{\theta}{r}(\Theta+\bar{\theta})\|_{2}^{2}\lesssim\frac{n}{m}{r}(\Theta+\bar{\theta})

Иллюстрация · Условная константа не является константой источника и не устанавливает общую оценку с высокой вероятностью.

Обозначения

$r$: Средняя квадратичная потеря.
$Θ$: Начальный вектор.
$θ̄$: Смещение параметров.
$n,m$: Положительные ширина и число примеров.
$≲$: Неравенство с точностью до положительной константы.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Смещение выходного веса

Поток данных в этом примере

Вы выбираете

input.displacement = 0,5

Начальные значения в коде

constant = 20

Вычисляется здесь

Выражение результата: { risk, gradient, squaredNorm, widthOverSamples: 1, constant, upperBound: constant * risk, }

a = 1 + input.displacement Использует: input.displacement
risk = a * a Использует: a
gradient = [2 * a, 2 * a * a] Использует: a
squaredNorm = gradient.reduce((sum, v) => sum + v * v, 0) Использует: gradient

Возвращает

Пример результата

risk: 2,25
gradient: массив (2 элементов): [3, 4,5]
squaredNorm: 29,25
widthOverSamples: 1
constant: 20
upperBound: 45

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Для Φ = awx, x = w = 1, нулевой цели и a из [0,2] квадрат градиента равен 4a²(1+a²) и не превышает потерю более чем в 20 раз. В примере n = m = 1, а входящий вес зафиксирован равным 1 для вычисления. Константа 20 выбрана только для этого диапазона входов.

Источник: Выражение из статьи