Современная математика глубокого обучения

Масштаб размера при высокой размерности

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.3 Вопросы, которые нас ждут

Источник обсуждает масштаб размера с показателем 784, соответствующим числу пикселей изображения 28 на 28.

Чтобы избежать переполнения обычных компьютерных чисел, код возвращает десятичный логарифм множителя.

Большие показатели заставляют множитель размера быстро расти при уменьшении целевой ошибки.

Пример формулы источника

\mathcal O(\varepsilon^{-784})

Приближение · Показанный логарифм подвержен округлению с плавающей точкой. Нулевое значение null для множителя означает превышение конечного числового диапазона примера. Обозначение Big-O скрывает константы; код не вычисляет число параметров конкретной сети.

Обозначения

$ε$: Целевая равномерная ошибка приближения в (0,1).

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Точность ε

Поток данных в этом примере

Вы выбираете

input.epsilon = 0,1

Вычисляется здесь

Выражение результата: { log10Factor, representableFactor }

epsilon = input.epsilon Использует: input.epsilon
log10Factor = -784 * Math.log10(epsilon) Использует: epsilon
representableFactor = log10Factor <= 308 ? 10 ** log10Factor : null Использует: log10Factor

Возвращает

Пример результата

log10Factor: 784
representableFactor: null

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник обсуждает равномерное приближение 1-липшицевых функций на 784-мерном единичном кубе в контексте сложности приближения в худшем случае. Вычисляется множитель ε⁻⁷⁸⁴ и его логарифм, а не измеренный размер сети.

Источник: Масштаб высокой размерности