Современная математика глубокого обучения

Экспоненциальный риск и его градиент

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Теория оптимизации · Изучает сходимость и геометрию потерь при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.3 Путь обучения имеет значение

Для экспоненциальной потери отступа ℓ(z)=exp(−z) производная равна −exp(−z). Источник использует это для анализа градиентного потока на разделимых данных.

В примере один образец x=1, y=1 и разделяющий параметр θ-hat=1.

Производная связывает уменьшение потери с ростом отступа.

Пример формулы источника

\big\langle\hat{\theta},\nabla_{\theta}r(\theta)\rangle=\frac{1}{m}\sum_{i=1}^{m}\underbrace{\ell^{\prime}(y^{(i)}\langle\theta,x^{(i)}\rangle)}_{<0}\underbrace{y^{(i)}\langle\hat{\theta},x^{(i)}\rangle}_{>0}.

Иллюстрация · Один скалярный пример даёт точное учебное вычисление, а не доказательство общих утверждений о пределе или градиентном потоке.

Обозначения

$r$: Средняя экспоненциальная потеря отступа по выборке.
$β$: Положительный масштаб.
$θ̂$: Разделяющий параметр с положительными отступами.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

θβ

Поток данных в этом примере

Вы выбираете

input.theta = 1
input.beta = 2

Вычисляется здесь

Выражение результата: { risk, gradient, derivative, gradientDotSeparator: gradient, scaledRisk, smoothedMargin, flowRate, thetaNorm: Math.abs(theta), }

theta = input.theta Использует: input.theta
beta = input.beta Использует: input.beta
risk = Math.exp(-theta) Использует: theta
gradient = -risk Использует: risk
derivative = -Math.exp(-theta) Использует: theta
scaledRisk = Math.exp(-beta * theta) Использует: beta, theta
smoothedMargin = -Math.log(scaledRisk) / beta Использует: scaledRisk, beta
flowRate = -gradient / risk Использует: gradient, risk

Возвращает

Пример результата

risk: ≈0,3679
gradient: ≈-0,3679
derivative: ≈-0,3679
gradientDotSeparator: ≈-0,3679
scaledRisk: ≈0,1353
smoothedMargin: 1
flowRate: 1
thetaNorm: 1

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Для линейно разделимой выборки источник берёт ℓ(z)=exp(−z), определяет rβ(θ)=−log(r(βθ))/β и изменяет θ по градиенту r1, равному −∇r/r. Учебная выборка имеет один положительный единичный вход и θ-hat=1, поэтому её отступ равен θ и сглаженный отступ точно равен θ. При θ→+∞ норма неограниченно растёт, а градиент потери стремится к нулю; конечный регулятор вычисляет только выбранные значения.

Источник: Выражение из статьи