Современная математика глубокого обучения

Плотность гауссовой инициализации

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Инициализация · Описывает начальные параметры и их распределения.

Текущая целевая функция даёт градиент для обновления параметров.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Источник инициализирует каждый параметр независимо гауссовым распределением с нулевым средним и дисперсией 1/n.

Распределение описывает случайные начальные веса для анализа обучения.

Пример формулы источника

\Theta^{(1)}_{j}\sim{\mathcal{N}}(0,1/n)^{d+1}

Иллюстрация · Здесь вычисляется плотность, а не случайная выборка или доказательство сходимости.

Обозначения

$Θ⁽¹⁾ⱼ$: Входящие веса и смещение скрытого узла j, вектор в ℝᵈ⁺¹.
$Θ⁽²⁾ⱼ$: Скалярный выходной вес узла j.
$N(0,1/n)$: Нормальное распределение с нулевым средним и дисперсией 1/n.
$n$: Положительное число скрытых узлов.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Скрытые узлы

Поток данных в этом примере

Вы выбираете

input.n = 4

Начальные значения в коде

coordinates = [0, 0, 0]

Вычисляется здесь

Выражение результата: { variance, coordinates, oneCoordinateDensity: densityAtZero, jointDensity: densityAtZero ** coordinates.length, }

n = input.n Использует: input.n
variance = 1 / n Использует: n
densityAtZero = 1 / Math.sqrt(2 * Math.PI * variance) Использует: variance

Возвращает

Пример результата

variance: 0,25
coordinates: массив (3 элементов): [0, 0, 0]
oneCoordinateDensity: ≈0,7979
jointDensity: ≈0,5079

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

При d = 1 три координаты обозначают два входящих элемента и один выходной вес в нуле. Их совместная плотность является произведением благодаря независимости координат инициализации. Плотность не является вероятностью в одной точке.

Источник: Выражение из статьи