Современная математика глубокого обучения

Непрерывная остаточная эволюция

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Остаточные сети · Описывают остаточные обновления слоёв и их непрерывный аналог.

Свёрточные, рекуррентные и остаточные архитектуры не входят в эту линейную модель пингвинов.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 6.2 Остаточные связи между слоями

Уравнение задаёт мгновенную скорость изменения и начальное значение. Для h(t, φ) = φ решение из x равно x умножить на eᵗ.

Это даёт непрерывный аналог пошагового остаточного обновления.

Пример формулы источника

\dot{\phi}(t)=h(t,\phi(t)),\qquad\phi(0)=x,

Точный результат · Пример решает одно вымышленное скалярное дифференциальное уравнение, а не произвольную остаточную сеть.

Обозначения

$φ(t)$: Состояние в действительный момент t.
$φ̇(t)$: Производная состояния по времени.
$h$: Функция, задающая скорость изменения.
$x$: Начальное состояние.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Начальное состояниеВремя

Поток данных в этом примере

Вы выбираете

input.x = 1
input.t = 1

Вычисляется здесь

Выражение результата: { initial: input.x, value, derivative: value, h: value }

value = input.x * Math.exp(input.t) Использует: input.x, input.t

Возвращает

Пример результата

initial: 1
value: ≈2,718
derivative: ≈2,718
h: ≈2,718

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Выбранная h тождественна, а точное решение — φ(t) = x exp(t).

Источник: Выражение из статьи