Современная математика глубокого обучения

Ограниченная квадратичная потеря

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Потери для примера · Определяют значение потери для наблюдаемого примера.

По прогнозам и известным ответам вычисляется значение функции потерь. Классификация использует кросс-энтропию и α/2 суммы квадратов весов без смещений; гребневая регрессия использует среднюю квадратичную ошибку нормированной массы и α суммы квадратов всех коэффициентов, включая смещение.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2.3 Работает ли это на новых примерах?

Если и цель регрессии, и каждое предсказание имеют модуль не более c, модуль их разности не превышает 2c. Возведение в квадрат даёт границу потери 4c².

Учебное семейство содержит два постоянных предсказания −c и +c, а цель равна +c.

Ограниченные потери позволяют использовать аргументы концентрации источника.

Пример формулы источника

\sup_{f\in\mathcal F}|f(X)|\leq c,\quad\sup_{f\in\mathcal F}|\mathcal L(f,Z)|\leq4c^2

Иллюстрация · Максимумы точны для этого учебного семейства из двух правил. Общие предположения источника касаются границ почти наверное по всему семейству и распределению.

Обозначения

$c$: Положительная граница |Y| и |f(X)| по семейству гипотез.
$ℒ$: Квадратичная потеря регрессии.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Положительная граница c

Поток данных в этом примере

Вы выбираете

input.c = 2

Вычисляется здесь

Выражение результата: { predictions, target, losses, largestPredictionMagnitude: Math.max(...predictions.map(Math.abs)), largestLoss: Math.max(...losses), lossBound: 4 * c ** 2, }

c = input.c Использует: input.c
predictions = [-c, c] Использует: c
target = c Использует: c
losses = predictions.map((prediction) => (prediction - target) ** 2) Использует: predictions, target

Возвращает

Пример результата

predictions: массив (2 элементов): [-2, 2]
target: 2
losses: массив (2 элементов): [16, 0]
largestPredictionMagnitude: 2
largestLoss: 16
lossBound: 16

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник предполагает |Y|≤c и sup_f |f(X)|≤c почти наверное. Неравенство треугольника даёт |f(X)−Y|≤2c и, следовательно, квадратичную потерю не более 4c². Вычисление не оценивает супремум генеральной совокупности по выборкам.

Источник: Ограниченная потеря регрессии