Современная математика глубокого обучения

Разложение избыточного риска

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах · 1.2.1 Поиск более удачных параметров · 1.2.2 Может ли сеть представить нужную функцию? · Другие разделы источника

Источник разделяет избыточный риск на ошибки оптимизации, обобщения и приближения. В границе член обобщения появляется дважды.

Учебное распределение имеет равновероятные цели 0 и 1. Семейство гипотез содержит постоянные предсказатели 0 и 1; выбран предсказатель 0.

Разложение выявляет разные причины избыточного риска обученного правила.

Пример формулы источника

\begin{split}{\mathcal{R}}(f_{S})-{\mathcal{R}}^{*}&={\mathcal{R}}(f_{S})-\widehat{\mathcal{R}}_{S}(f_{S})+\widehat{\mathcal{R}}_{S}(f_{S})-\widehat{\mathcal{R}}_{S}(f^{*}_{\mathcal{F}})+\widehat{\mathcal{R}}_{S}(f^{*}_{\mathcal{F}})-{\mathcal{R}}(f^{*}_{\mathcal{F}})+{\mathcal{R}}(f^{*}_{\mathcal{F}})-{\mathcal{R}}^{*}\\ &\leq{\varepsilon}^{\mathrm{opt}}+2{\varepsilon}^{\mathrm{gen}}+{\varepsilon}^{\mathrm{approx}}\end{split}

Иллюстрация · Здесь вычисляются разложение и граница для одного конечного учебного семейства и известного распределения. Это не доказывает неравенство для общих семейств.

Обозначения

$ε^{opt}$: Разница между риском выбранного правила на выборке и лучшим риском на выборке в семействе.
$ε^{gen}$: Наибольший абсолютный разрыв между риском генеральной совокупности и выборки в семействе.
$ε^{approx}$: Разница между лучшим риском генеральной совокупности в семействе и оптимальным риском генеральной совокупности.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Первая цель выборки

Поток данных в этом примере

Вы выбираете

input.first = 0

Начальные значения в коде

populationClassRisk = 0.5
optimalRisk = 0.25

Вычисляется здесь

Выражение результата: { empiricalZero, empiricalOne, classPopulationRisks: [populationClassRisk, populationClassRisk], oneSidedGap: Math.max( populationClassRisk - empiricalZero, populationClassRisk - empiricalOne, ), bestClassPrediction: ...

sample = [input.first, 0] Использует: input.first
empiricalZero = empirical(0) Использует: empirical
empiricalOne = empirical(1) Использует: empirical
optimization = empiricalZero - Math.min(empiricalZero, empiricalOne) Использует: empiricalZero, empiricalOne
generalization = Math.max( Math.abs(populationClassRisk - empiricalZero), Math.abs(populationClassRisk - empiricalOne), ) Использует: populationClassRisk, empiricalZero, empiricalOne
approximation = populationClassRisk - optimalRisk Использует: populationClassRisk, optimalRisk
excessRisk = populationClassRisk - optimalRisk Использует: populationClassRisk, optimalRisk
pieces = [ populationClassRisk - empiricalZero, empiricalZero - empiricalZero, empiricalZero - populationClassRisk, approximation, ] Использует: populationClassRisk, empiricalZero, approximation

Возвращает

Пример результата

empiricalZero: 0
empiricalOne: 1
classPopulationRisks: массив (2 элементов): [0,5, 0,5]
oneSidedGap: 0,5
bestClassPrediction: 0
pieces: массив (4 элементов): [0,5, 0, -0,5, 0,25]
excessRisk: 0,25
optimization: 0

… (11 элементов)

JavaScript

const sample = [input.first, 0];
if (!sample.every((y) => y === 0 || y === 1))
  throw new Error("Цели должны быть равны 0 или 1.");
const empirical = (prediction) =>
  sample.reduce((sum, y) => sum + (prediction - y) ** 2, 0) / sample.length;
const empiricalZero = empirical(0);
const empiricalOne = empirical(1);
const populationClassRisk = 0.5;
const optimalRisk = 0.25;
const optimization = empiricalZero - Math.min(empiricalZero, empiricalOne);
const generalization = Math.max(
  Math.abs(populationClassRisk - empiricalZero),
  Math.abs(populationClassRisk - empiricalOne),
);
const approximation = populationClassRisk - optimalRisk;
const excessRisk = populationClassRisk - optimalRisk;
const pieces = [
  populationClassRisk - empiricalZero,
  empiricalZero - empiricalZero,
  empiricalZero - populationClassRisk,
  approximation,
];
return {
  empiricalZero,
  empiricalOne,
  classPopulationRisks: [populationClassRisk, populationClassRisk],
  oneSidedGap: Math.max(
    populationClassRisk - empiricalZero,
    populationClassRisk - empiricalOne,
  ),
  bestClassPrediction: 0,
  pieces,
  excessRisk,
  optimization,
  generalization,
  approximation,
  bound: optimization + 2 * generalization + approximation,
};

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Для показанного разложения источник предполагает наличие минимизатора риска генеральной совокупности в семействе гипотез. Учебное семейство имеет два одинаково хороших минимизатора этого риска; код выбирает предсказатель 0 как f*₍F₎. Неограниченный оптимум для квадратичной потери — предсказатель 1/2 с риском 1/4.

Источник: Формула из статьи