Современная математика глубокого обучения

Квадратичная потеря

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Потери для примера · Определяют значение потери для наблюдаемого примера.

По прогнозам и известным ответам вычисляется значение функции потерь. Классификация использует кросс-энтропию и α/2 суммы квадратов весов без смещений; гребневая регрессия использует среднюю квадратичную ошибку нормированной массы и α суммы квадратов всех коэффициентов, включая смещение.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Потеря

Вход: Обучение: 12 Прогноз
Выход: [≈0,005482; ≈1,012; ≈0,1422] … (12 элементов) · Среднее значение функции потерь при обучении: ≈0,228 (кросс-энтропия)

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Прогноз → Потеря → Среднее значение функции потерь при обучении

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.task · Настройка проекта или константа: classification
input.predictions · Прогноз: [Вид: Адели · Вероятности: [≈0,9945; ≈0,005412; ≈0,00005477]; Вид: Адели · Вероятности: [≈0,6338; ≈0,3635; ≈0,002677]; Вид: Папуанский · Вероятности: [≈0,1023; ≈0,03028; ≈0,8674]] … (12 элементов)
input.targets · Наблюдения: [0; 1; 2] … (12 элементов)

JavaScript

Результат

[≈0,005482; ≈1,012; ≈0,1422] … (12 элементов)

Используется в разделах источника: 1.2 Обучение на примерах · 2.1 Взгляд через сходство

Вычтите цель из предсказания и возведите разность в квадрат.

Потеря измеряет, насколько предсказание отличается от цели.

Пример формулы источника

\ell(\hat{y},y)=(\hat{y}-y)^{2}

Точное вычисление · Результат точен для этих учебных данных с учётом обычного округления на компьютере.

Обозначения

$\hat y$: Действительное предсказание.
$y$: Действительная цель.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

ПредсказаниеЦель

Поток данных в этом примере

Вы выбираете

input.prediction = 3
input.target = 1

Вычисляется здесь

Выражение результата: { error, loss: error ** 2 }

error = input.prediction - input.target Использует: input.prediction, input.target

Возвращает

Пример результата

error: 2
loss: 4

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Измените вход и снова запустите тот же код. Показанный результат получен для приведённых выше значений.

Источник: Формула из статьи