Современная математика глубокого обучения

Ожидаемый риск параметров сети

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Риск и оценка · Различают потери на выборке и ожидаемые потери.

Обученное правило оценивается на 102 наблюдениях для проверки, не участвовавших в обучении.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.1 Форма поверхности ошибки

Вычислите параметризованную сеть на каждом возможном примере, найдите потерю и усредните с весами вероятностей.

Это целевая функция r для параметров сети, заданная риском по распределению данных.

Пример формулы источника

{r}(\theta)={\mathcal{R}}(\Phi(\cdot,\theta))

Иллюстрация · Вероятности задают условную полностью перечисленную совокупность; одна конечная обучающая выборка не определяет риск по распределению данных.

Обозначения

$r(θ)$: Ожидаемый риск как функция параметров сети.
$R$: Математическое ожидание потери по распределению примеров.
$Φ(·,θ)$: Функция предсказания сети.
$Z$: Случайный обучающий или тестовый пример.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Параметр сети

Поток данных в этом примере

Вы выбираете

input.theta = 1

Начальные значения в коде

examples = [ { x: 1, y: 2 }, { x: 2, y: 4 }, ]
probabilities = [0.5, 0.5]

Вычисляется здесь

Выражение результата: { examples, probabilities, predictions, losses, risk }

theta = input.theta Использует: input.theta
predictions = examples.map((z) => theta * z.x) Использует: examples, theta
losses = examples.map((z, i) => (predictions[i] - z.y) ** 2) Использует: examples, predictions
risk = losses.reduce((sum, v, i) => sum + probabilities[i] * v, 0) Использует: losses, probabilities

Возвращает

Пример результата

examples: массив (2 элементов): [объект (2 элементов), объект (2 элементов)]
probabilities: массив (2 элементов): [0,5, 0,5]
predictions: массив (2 элементов): [1, 2]
losses: массив (2 элементов): [1, 4]
risk: 2,5

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Условное распределение задаёт равные вероятности двум парам вход–цель и использует Φ(x,θ)=θx с квадратичной потерей. Взвешенная сумма — точное математическое ожидание для этого конечного распределения. Сноска источника допускает ожидаемый или эмпирический риск как цель.

Источник: Выражение из статьи