Современная математика глубокого обучения

Потеря неожиданности

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Потери для примера · Определяют значение потери для наблюдаемого примера.

По прогнозам и известным ответам вычисляется значение функции потерь. Классификация использует кросс-энтропию и α/2 суммы квадратов весов без смещений; гребневая регрессия использует среднюю квадратичную ошибку нормированной массы и α суммы квадратов всех коэффициентов, включая смещение.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Потеря

Вход: Обучение: 12 Прогноз
Выход: [≈0,005482; ≈1,012; ≈0,1422] … (12 элементов) · Среднее значение функции потерь при обучении: ≈0,228 (кросс-энтропия)

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Прогноз → Потеря → Среднее значение функции потерь при обучении

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.task · Настройка проекта или константа: classification
input.predictions · Прогноз: [Вид: Адели · Вероятности: [≈0,9945; ≈0,005412; ≈0,00005477]; Вид: Адели · Вероятности: [≈0,6338; ≈0,3635; ≈0,002677]; Вид: Папуанский · Вероятности: [≈0,1023; ≈0,03028; ≈0,8674]] … (12 элементов)
input.targets · Наблюдения: [0; 1; 2] … (12 элементов)

JavaScript

Результат

[≈0,005482; ≈1,012; ≈0,1422] … (12 элементов)

Используется в разделах источника: 1.2 Обучение на примерах

Неожиданность наблюдаемого значения z равна −log(f(z)), где f(z) — его положительная плотность.

Эта потеря встречается в оценивании методом максимального правдоподобия.

Пример формулы источника

{\mathcal{L}}(f,z)=-\log(f(z))

Иллюстрация · Значения плотности не обязательно являются вероятностями в отдельных точках; нулевая плотность даёт бесконечную потерю и не используется в этом конечном вычислении.

Обозначения

$f$: Плотность вероятности.
$z$: Наблюдаемое значение.
$ℒ$: Потеря неожиданности.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

density = 0.5

Вычисляется здесь

Выражение результата: { density, loss: -Math.log(density) }

Возвращает

Пример результата

density: 0,5
loss: ≈0,6931

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Числовые значения вымышлены. Значения плотности не обязательно являются вероятностями в отдельных точках; нулевая плотность даёт бесконечную потерю и не используется в этом конечном вычислении.

Источник: Обозначение в тексте