Современная математика глубокого обучения

Эмпирический риск

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Целевые функции · Объединяют потери и штрафы в критерий для параметров или правил.

По прогнозам и известным ответам вычисляется значение функции потерь. Классификация использует кросс-энтропию и α/2 суммы квадратов весов без смещений; гребневая регрессия использует среднюю квадратичную ошибку нормированной массы и α суммы квадратов всех коэффициентов, включая смещение.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Среднее значение функции потерь при обучении

Вход: 12 Потеря
Выход: ≈0,228

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Потеря → Среднее значение функции потерь при обучении → Целевая функция

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.losses · Потеря: [≈0,005482; ≈1,012; ≈0,1422] … (12 элементов)

JavaScript

Результат

≈0,228

Используется в разделах источника: 1.2 Обучение на примерах · 1.2.1 Поиск более удачных параметров · 1.2.3 Работает ли это на новых примерах? · Другие разделы источника

Вычислите потерю для каждого обучающего примера, затем усредните потери.

Потерю обучения можно измерить на доступной выборке.

Пример формулы источника

\widehat{\mathcal{R}}_{{s}}(f)\coloneqq\frac{1}{m}\sum_{i=1}^{m}{\mathcal{L}}(f,z^{(i)}).

Точное вычисление · Результат точен для этих учебных данных с учётом обычного округления на компьютере.

Обозначения

$s$: Выборка из m примеров.
$ℒ(f,z)$: Потеря правила предсказания f на примере z.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Первая потеря

Поток данных в этом примере

Вы выбираете

input.first = 1

Вычисляется здесь

Выражение результата: { losses, risk: losses.reduce((a, b) => a + b, 0) / losses.length }

losses = [input.first, 4, 9] Использует: input.first

Возвращает

Пример результата

losses: массив (3 элементов): [1, 4, 9]
risk: ≈4,667

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Здесь вычисляется выборочное среднее потерь, а не математическое ожидание по всей генеральной совокупности.

Источник: Формула из статьи