Современная математика глубокого обучения

Дисперсия при коррелированных координатах

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.4 Двойной спуск

Для модели источника с одной выборкой и двоичными признаками ожидаемый член дисперсии равен квадрату нормы Фробениуса ковариации, делённому на d².

В примере две координаты ±1, каждая с нулевым средним, и корреляция ρ.

Корреляция может менять член дисперсии даже при неизменном числе координат.

Пример формулы источника

{\mathbbm{E}}\big[{\operatorname{Tr}}\big(\Sigma^{+}{\mathbbm{E}}[XX^{T}]\big)\big]=\frac{1}{d^{2}}\big\|{\mathbbm{E}}\big[XX^{T}\big]\big\|_{F}^{2}.

Иллюстрация · Вычисляется точная правая часть для конкретной матрицы ковариации. Это не моделирует подогнанные модели и не означает одинаковый результат для всех коррелированных данных.

Обозначения

$Σ^+$: Псевдообратная матрица Мура—Пенроуза для матрицы выборки Σ.
$d$: Число двоичных координат входа.
$\Vert ·\Vert _F$: Норма Фробениуса.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Корреляция ρ

Поток данных в этом примере

Вы выбираете

input.rho = 0,5

Вычисляется здесь

Выражение результата: { covariance, squaredNorm, expectedVariance: squaredNorm / 4 }

covariance = [ [1, input.rho], [input.rho, 1], ] Использует: input.rho
squaredNorm = covariance.reduce( (sum, row) => sum + row.reduce((total, value) => total + value * value, 0), 0, ) Использует: covariance

Возвращает

Пример результата

covariance: массив (2 элементов): [массив (2 элементов): [1, 0,5], массив (2 элементов): [0,5, 1]]
squaredNorm: 2,5
expectedVariance: 0,625

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник специализируется на m = 1 и X со значениями в {−1,1}ᵈ, поэтому ‖X‖² = d. Формула относится к ожидаемому члену дисперсии, определённому в модели источника. Показанная ковариация реализуема центрированными координатами ±1 при ρ в [−1,1].

Источник: Выражение из статьи