Современная математика глубокого обучения

Сложность Радемахера на конечном примере

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Умножьте каждое значение функции на независимый случайный знак, усредните, возьмите наибольший модуль результата по семейству функций, затем усредните по случайным выборам.

Здесь оба примера — одна и та же фиксированная точка, а две функции возвращают в ней 1 и 0. Мы перечисляем все четыре равновероятные пары знаков.

Это измеряет способность семейства функций соответствовать случайным знакам.

Пример формулы источника

{\mathfrak{R}}_{m}({\mathcal{G}})\coloneqq{\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\big|\frac{1}{m}\sum_{i=1}^{m}\tau_{i}g(Z^{(i)})\big|\Big]

Точное вычисление · Фиксированная выборка соответствует вырожденному распределению выборки; все пары знаков и обе учебные функции перечислены точно. Конечная выборка или конечный список функций обычно не дают супремум или математическое ожидание для другого распределения или семейства функций.

Обозначения

$τ_i$: Независимый случайный знак, принимающий −1 или +1 с равной вероятностью.
$\mathcal{G}$: Семейство действительных функций.
$Z^{(i)}$: Случайные примеры; в учебном примере фиксированы.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Масштаб первой функции

Поток данных в этом примере

Вы выбираете

input.scale = 1

Начальные значения в коде

signs = [ [-1, -1], [-1, 1], [1, -1], [1, 1], ]

Вычисляется здесь

Выражение результата: { maxima, expectation: maxima.reduce((a, b) => a + b, 0) / maxima.length }

functions = [ [input.scale, input.scale], [0, 0], ] Использует: input.scale
maxima = signs.map((pair) => Math.max( ...functions.map((values) => Math.abs(values.reduce((sum, value, i) => sum + value * pair[i], 0) / 2), ), ), ) Использует: signs, functions

Возвращает

Пример результата

maxima: массив (4 элементов): [1, 0, 0, 1]
expectation: 0,5

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Измените вход и снова запустите тот же код. Показанный результат получен для приведённых выше значений.

Источник: Формула из статьи