Современная математика глубокого обучения

Взвешенная граница обобщения

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2.3 Работает ли это на новых примерах?

Левая часть — разница между риском генеральной совокупности и риском выборки. Правая часть — граница для правила с положительным весом p(f).

Теорема связывает размер выборки, доверие и априорный вес с границей риска.

Пример формулы источника

|{\mathcal{R}}(f)-\widehat{\mathcal{R}}_{S}(f)|\leq\sqrt{\frac{\ln(1/p(f))+\ln(2/\delta)}{2m}}.

Иллюстрация · Код вычисляет границу для заданного положительного веса. Он не вычисляет риск генеральной совокупности и не доказывает вероятностное утверждение.

Обозначения

$p(f)$: Априорная вероятность правила f, выбранная до наблюдения выборки.
$δ$: Вероятность ошибки в (0,1).
$m$: Положительное целое число обучающих примеров.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Априорный вес p(f)Вероятность ошибки δРазмер выборки m

Поток данных в этом примере

Вы выбираете

input.weight = 0,5
input.delta = 0,5
input.m = 4

Вычисляется здесь

Выражение результата: { upperBound: Math.sqrt((Math.log(1 / weight) + Math.log(2 / delta)) / (2 * m)) }

weight = input.weight Использует: input.weight
delta = input.delta Использует: input.delta
m = input.m Использует: input.m

Возвращает

Пример результата

upperBound: ≈0,5098

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Теорема предполагает счётное семейство гипотез, распределение вероятностей p на нём, потерю в [0,1] почти наверное для каждого правила и независимые одинаково распределённые обучающие примеры. С вероятностью не менее 1−δ по выборке граница выполняется одновременно для всех правил. Нулевой априорный вес не даёт конечной границы; этот калькулятор требует положительный вес.

Источник: Формула из статьи