Современная математика глубокого обучения

Риск на отдельной тестовой выборке

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Риск и оценка · Различают потери на выборке и ожидаемые потери.

Обученное правило оценивается на 102 наблюдениях для проверки, не участвовавших в обучении.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Проверка на новых данных

Вход: 102 · #58: 40.6 мм, 193 мм
Выход: Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737]; Среднее значение функции потерь при проверке: ≈0,1639 (кросс-энтропия); Верно: 99/102

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Прогноз → Проверка на новых данных → Проверка на новых данных

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.task · Настройка проекта или константа: classification
input.predictions · Прогноз: [Вид: Адели · Вероятности: [≈0,7383; ≈0,2444; ≈0,01737]; Вид: Адели · Вероятности: [≈0,533; ≈0,2223; ≈0,2447]; Вид: Папуанский · Вероятности: [≈0,0001477; ≈0,001447; ≈0,9984]] … (102 элементов)
input.targets · Наблюдения: [0; 0; 2] … (102 элементов)
input.rows · Наблюдения: [Вид: Адели · Масса (г): 3800; Вид: Адели · Масса (г): 4000; Вид: Папуанский · Масса (г): 5250] … (102 элементов)

JavaScript

Результат

Среднее значение функции потерь: ≈0,1639 · Верно: 99 · Всего: 102

Используется в разделах источника: 1.3 Вопросы, которые нас ждут

Обучите правило на выборке s, затем усредните его потери на отдельной выборке s-tilde.

Учебное правило всегда предсказывает 0; отдельные тестовые метки — [0,1,1].

Отдельная тестовая выборка может оценивать эффективность на новых данных.

Пример формулы источника

\widehat{\mathcal R}_{\tilde s}(f_s)

Иллюстрация · Это конечное тестовое среднее обычно не равно риску генеральной совокупности. Учебные тестовые данные фиксированы и вымышлены.

Обозначения

$f_s$: Правило, обученное на выборке s.
$~s$: Отдельная тестовая выборка.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Постоянное предсказание

Поток данных в этом примере

Вы выбираете

input.prediction = 0

Начальные значения в коде

testLabels = [0, 1, 1]

Вычисляется здесь

Выражение результата: { testLabels, prediction, losses, testRisk: losses.reduce((a, b) => a + b, 0) / losses.length, }

prediction = input.prediction Использует: input.prediction
losses = testLabels.map((label) => (prediction === label ? 0 : 1)) Использует: testLabels, prediction

Возвращает

Пример результата

testLabels: массив (3 элементов): [0, 1, 1]
prediction: 0
losses: массив (3 элементов): [0, 1, 1]
testRisk: ≈0,6667

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник описывает независимые тестовые примеры из той же генеральной совокупности, что и обучающие данные. Код оценивает заданное правило на фиксированной учебной тестовой выборке; он не обучает правило и не моделирует выборку.

Источник: Риск тестовой выборки