Современная математика глубокого обучения

Блоки вторых производных

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Функции и производные · Описывают отображения и изменение их значений.

Векторы проекта имеют два признака; обучающая матрица содержит n строк и два столбца. Инструменты применимы, когда выполнены их предположения.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Неглубокая сеть линейна по выходным весам, поэтому вторые производные по выходным весам равны нулю. Смешанные производные могут быть ненулевыми.

Блоки гессиана показывают, как градиенты параметров могут меняться около инициализации.

Пример формулы источника

{\mathbbm{E}}\Bigg[\Big(\frac{\partial^{2}\Phi(x,\Theta)}{\partial\theta^{(2)}_{i}\partial\theta^{(2)}_{j}}\Big)^{2}\Bigg]=0,\quad{\mathbbm{E}}\Bigg[\Big(\frac{\partial^{2}\Phi(x,\Theta)}{\partial\theta^{(2)}_{i}\partial(\theta^{(1)}_{j})_{k}}\Big)^{2}\Bigg]\lesssim\delta_{i,j},\quad\text{и}\quad{\mathbbm{E}}\Bigg[\Big(\frac{\partial^{2}\Phi(x,\Theta)}{\partial(\theta^{(1)}_{i})_{k}\partial(\theta^{(1)}_{j})_{\ell}}\Big)^{2}\Bigg]\lesssim\frac{\delta_{i,j}}{n},

Иллюстрация · Конечное распределение инициализации не устанавливает гауссовы оценки ожидания из источника.

Обозначения

$Φ$: Выход неглубокой сети.
$Θ$: Случайная инициализация.
$𝔼$: Ожидание по распределению инициализации.
$δᵢⱼ$: 1 при i = j и 0 иначе.
$n$: Число скрытых узлов.
$≲$: Неравенство с точностью до константы при предположениях источника.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Вход

Поток данных в этом примере

Вы выбираете

input.x = 1

Начальные значения в коде

samples = [-1, 1]

Вычисляется здесь

Выражение результата: { outputOutputExpectation: mean(outputOutputSquares), mixedExpectation: mean(mixedSquares), incomingExpectation: mean(incomingIncomingSquares), delta: 1, n: 1, chosenConstant: 64, }

x = input.x Использует: input.x
outputOutputSquares = samples.map(() => 0) Использует: samples
mixedSquares = samples.map(() => (2 * x * x) ** 2) Использует: samples, x
incomingIncomingSquares = samples.map((a) => (2 * a * x * x) ** 2) Использует: samples, x

Возвращает

Пример результата

outputOutputExpectation: 0
mixedExpectation: 4
incomingExpectation: 4
delta: 1
n: 1
chosenConstant: 64

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Конечное распределение инициализации задаёт выходной вес a = −1 или 1 с равной вероятностью, фиксированный входящий вес w = 1 и Φ = a(wx)². Активация z² гладкая и неаффинная. При w = 1 вторая производная выход–выход равна 0, смешанная — 2x², вход–вход — 2ax². Точные конечные ожидания их квадратов: 0, 4x⁴, 4x⁴. Для показанного диапазона x условная константа 64 ограничивает оба значения; это не константа источника. В отличие от примера источник использует независимую гауссову инициализацию с дисперсией 1/n.

Источник: Выражение из статьи