Современная математика глубокого обучения

Энтропийный интеграл

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Источник связывает сложность Радемахера с интегралом логарифма числа покрытия по радиусу α.

Для трёх постоянных функций 0, 1/2 и 1 число покрытия открытыми шарами равно 3 при 0 < α ≤ 1/2 и 1 при α > 1/2.

Числа покрытия описывают сложность семейства функций на многих масштабах.

Пример формулы источника

{\mathfrak{R}}_{m}({\mathcal{G}})\lesssim{\mathbbm{E}}\Big[\int_{0}^{\infty}\sqrt{\frac{\log N_{\alpha}({\mathcal{G}},d_{S})}{m}}\,\mathrm{d}\alpha\Big],

Иллюстрация · Это конечное семейство, интеграл для которого вычислен аналитически, а не доказательство. Символ ≲ скрывает константу, поэтому показанный интеграл сам по себе не является численной верхней границей с константой 1.

Обозначения

$N_α$: Число открытых шаров по расстоянию на выборке, необходимых для покрытия семейства.
$m$: Число точек выборки.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Радиус α

Поток данных в этом примере

Вы выбираете

input.radius = 0,25

Начальные значения в коде

m = 2
signs = [ [-1, -1], [-1, 1], [1, -1], [1, 1], ]

Вычисляется здесь

Выражение результата: { coveringNumber, integral, complexity }

coveringNumber = input.radius <= 0.5 ? 3 : 1 Использует: input.radius
integral = 0.5 * Math.sqrt(Math.log(3) / m) Использует: m
complexity = signs.reduce((sum, pair) => sum + Math.abs((pair[0] + pair[1]) / 2), 0) / signs.length Использует: signs

Возвращает

Пример результата

coveringNumber: 3
integral: ≈0,3706
complexity: 0,5

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Расстояние на выборке между этими постоянными функциями равно модулю их разности, поэтому число покрытия не зависит от выборки. Следовательно, ожидание источника в этом примере равно данному фиксированному интегралу. На границе α=1/2 шары открыты; изменение одной конечной точки не меняет интеграл. Сложность по случайным знакам вычисляется перечислением всех четырёх равновероятных пар знаков.

Источник: Формула из статьи