Современная математика глубокого обучения

Минимум регуляризованной целевой функции

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обучение и обновление параметров · Выбирают правило или обновляют параметры с помощью правила обучения.

Текущая целевая функция даёт градиент для обновления параметров.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Минимизируйте эмпирическую квадратичную ошибку плюс α, умноженное на квадрат параметра.

Регуляризатор меняет лучший параметр, выбираемый при подгонке.

Пример формулы источника

\min_{\theta\in{\mathbb{R}}^{P(N)}}\widehat{\mathcal{R}}_{s}(\Phi_{{a}}(\cdot,\theta))+\alpha\|\theta\|^{2}_{2},

Точное вычисление · Этот явный минимизатор применим только к учебной линейной модели и квадратичной потере.

Обозначения

$R̂s$: Эмпирический риск на выборке s.
$Φₐ$: Предсказатель сети.
$α$: Неотрицательный параметр регуляризации.
$θ$: Вектор действительных параметров.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Регуляризатор α

Поток данных в этом примере

Вы выбираете

input.alpha = 0,5

Начальные значения в коде

xs = [1, 2]
ys = [2, 4]

Вычисляется здесь

Выражение результата: { theta, empiricalRisk, penalty, minimum: empiricalRisk + penalty }

alpha = input.alpha Использует: input.alpha
theta = 5 / (2.5 + alpha) Использует: alpha
errors = xs.map((x, i) => theta * x - ys[i]) Использует: xs, theta, ys
empiricalRisk = errors.reduce((sum, e) => sum + e * e, 0) / 2 Использует: errors
penalty = alpha * theta * theta Использует: alpha, theta

Возвращает

Пример результата

theta: ≈1,667
empiricalRisk: ≈0,2778
penalty: ≈1,389
minimum: ≈1,667

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Пример использует fθ(x)=θx и две вымышленные пары (1,2),(2,4). Дифференцирование квадратичной целевой функции даёт θ=5/(2.5+α), её глобальный минимум при α ≥ 0.

Источник: Формула из статьи