Современная математика глубокого обучения

Суррогатные оценки и классификаторы

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Правила предсказания и слои · Описывают или применяют правила предсказания, слои и параметры.

Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Источник описывает выбор действительного правила по суррогатной потере с последующим применением функции знака для получения классификатора.

Пример содержит один положительный пример и две оценки-кандидата. Он выбирает меньшую логистическую потерю и сравнивает полученный риск ноль-один.

Дифференцируемую потерю оценки можно использовать при подгонке модели классификации.

Пример формулы источника

{\operatorname{sgn}}(\widehat{f}_{s}^{\mathrm{surr}})\in\argmin_{f\in{\mathcal{F}}_{{{a}},{\operatorname{sgn}}}}\widehat{\mathcal{R}}_{s}(f)

Иллюстрация · Код проверяет один конечный случай. Минимизация суррогатной потери в произвольном ограниченном семействе не гарантирует автоматически точного эмпирического минимизатора риска ноль-один.

Обозначения

$ℱ_a$: Семейство действительных оценок сети.
$ℱ_{a,sgn}$: Семейство, полученное применением знака к этим оценкам.
$ℒ^{surr}$: Суррогатная потеря на действительных оценках и примерах.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Вторая оценка

Поток данных в этом примере

Вы выбираете

input.score = 1

Начальные значения в коде

label = 1

Вычисляется здесь

Выражение результата: { scores, surrogateLosses, predictions, risks, selected, selectedRisk: risks[selected], minimumRisk: Math.min(...risks), }

scores = [-1, input.score] Использует: input.score
surrogateLosses = scores.map((score) => Math.log(1 + Math.exp(-label * score))) Использует: scores, label
predictions = scores.map((score) => (score >= 0 ? 1 : -1)) Использует: scores
risks = predictions.map((prediction) => (prediction === label ? 0 : 1)) Использует: predictions, label
selected = surrogateLosses.indexOf(Math.min(...surrogateLosses)) Использует: surrogateLosses

Возвращает

Пример результата

scores: массив (2 элементов): [-1, 1]
surrogateLosses: массив (2 элементов): [≈1,313, ≈0,3133]
predictions: массив (2 элементов): [-1, 1]
risks: массив (2 элементов): [1, 0]
selected: 1
selectedRisk: 0
minimumRisk: 0

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник представляет связь минимизаторов как свойство суррогатной постановки и упоминает логистическую потерю. Этот пример удовлетворяет связи. Показанный результат не доказывает, что все суррогатные потери и ограниченные семейства обладают этим свойством.

Источник: Формула из статьи