Современная математика глубокого обученияобъяснение для тех, кто не занимается математикой

Рекуррентное обновление

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Рекуррентные обновления · Обновляют состояние при последовательном поступлении входов.

Свёрточные, рекуррентные и остаточные архитектуры не входят в эту линейную модель пингвинов.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 6.6 Помним предыдущие шаги

Начните с состояния. На каждом шаге времени добавьте следующий вход и примените ReLU. Полученное состояние используется на следующем шаге.

Рекуррентная сеть может использовать предыдущие входы при обработке последовательности.

Пример формулы источника

ht=ϱR(ht−1+xt)h_t=\varrho_R(h_{t-1}+x_t)

Иллюстрация · Эта вымышленная скалярная рекурсия иллюстрирует состояние и шаги времени. Это не общий алгоритм обучения рекуррентной сети и не доказательство результата приближения из источника.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Вы выбираете

  • input.last = 3

Начальные значения в коде

  • state = 0

Вычисляется здесь

Выражение результата: { inputs: xs, states }

  • xs = [1, -2, input.last] Использует: input.last
  • states = xs.map((x) => { state = Math.max(0, state + x); return state; }) Использует: xs, state

Возвращает

Пример результата
inputs
массив (3 элементов): [1, -2, 3]
states
массив (3 элементов): [1, 0, 3]

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Измените входное значение и снова запустите тот же код. Отображаемый результат использует значения, показанные выше.

Источник: Учебный пример