Современная математика глубокого обучения

Риск приближения и расстояние функций

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Сравните избыточный риск, наилучшее квадратичное расстояние L² и квадрат равномерного расстояния.

Этот пример делает утверждение источника вычислимым на конечной модели.

Пример формулы источника

\begin{split}{\varepsilon}^{\mathrm{approx}}={\mathcal{R}}(f^{*}_{\mathcal{F}})-{\mathcal{R}}^{*}&\overset{(*)}{=}\int_{{\mathcal{X}}}(f^{*}_{\mathcal{F}}(x)-f^{*}(x))^{2}\,\mathrm{d}{\mathbbm{P}}_{X}(x)\\ &\overset{(*)}{=}\min_{f\in{\mathcal{F}}}\|f-f^{*}\|_{L^{2}({\mathbbm{P}}_{X})}^{2}\\ &\leq\min_{f\in{\mathcal{F}}}\|f-f^{*}\|_{L^{\infty}(\mathcal{X})}^{2},\end{split}

Иллюстрация · Конечный пример не устанавливает тождество для всех распределений регрессии.

Обозначения

$R*$: Байесовский риск регрессии.
$f*$: Байесовский предсказатель условного среднего.
$f*F$: Лучший предсказатель в F.
$Pₓ$: Распределение входов.
$\Vert ·\Vert L²,\Vert ·\Vert L∞$: Среднеквадратичная и существенная супремум-нормы функций.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

target = [0, 2]
candidates = [0, 1]

Вычисляется здесь

Выражение результата: { risks, best, approximationRisk: Math.min(...risks), l2Squared: differences.reduce((s, v) => s + v * v, 0) / 2, infinitySquared: Math.max(...differences.map(Math.abs)) ** 2, }

risks = candidates.map(risk) Использует: candidates, risk
best = candidates[risks.indexOf(Math.min(...risks))] Использует: candidates, risks
differences = target.map((y) => best - y) Использует: target, best

Возвращает

Пример результата

risks: массив (2 элементов): [2, 1]
best: 1
approximationRisk: 1
l2Squared: 1
infinitySquared: 1

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Учебное распределение равномерно на двух входах с детерминированными целями [0,2], а F содержит константы 0 и 1. Поэтому байесовский риск равен нулю, лучший риск в классе равен 1, и оба квадрата норм равны 1. Источник предполагает регрессию с квадратичной потерей и наличие минимизатора в классе.

Источник: Формула из статьи