Современная математика глубокого обучения

Полносвязная сеть

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Правила предсказания и слои · Описывают или применяют правила предсказания, слои и параметры.

Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Прогноз

Вход: Обучение: 12 × 2
Выход: [Вид: Адели · Вероятности: [≈0,9945; ≈0,005412; ≈0,00005477]; Вид: Адели · Вероятности: [≈0,6338; ≈0,3635; ≈0,002677]; Вид: Папуанский · Вероятности: [≈0,1023; ≈0,03028; ≈0,8674]] … (12 элементов)

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Признаки → Прогноз → Потеря

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.features · Признаки: [[≈-1,946; ≈-1,283]; [≈-0,6098; ≈-1,029]; [≈-0,4454; ≈0,9162]] … (12 элементов)
input.weights · Модель: [≈-0,2895; ≈-2,052; ≈-1,016] … (9 элементов)
input.task · Настройка проекта или константа: classification
input.targetMean · Наблюдения: null
input.targetScale · Наблюдения: null

JavaScript

Результат

[Вид: Адели · Вероятности: [≈0,9945; ≈0,005412; ≈0,00005477]; Вид: Адели · Вероятности: [≈0,6338; ≈0,3635; ≈0,002677]; Вид: Папуанский · Вероятности: [≈0,1023; ≈0,03028; ≈0,8674]] … (12 элементов)

Используется в разделах источника: 1.2 Обучение на примерах · 1.2.2 Может ли сеть представить нужную функцию? · 2.1 Взгляд через сходство · Другие разделы источника

Каждый слой умножает входы на матрицу весов и прибавляет смещения. Примените активацию к скрытым слоям, затем используйте результат как вход следующего слоя.

Эти операции определяют предсказание сети.

Пример формулы источника

\begin{split}\Phi^{(1)}(x,\theta)&=W^{(1)}x+b^{(1)},\\ \bar{\Phi}^{(\ell)}(x,\theta)&=\varrho\big(\Phi^{(\ell)}(x,\theta)\big),\quad\ell\in[L-1],\quad\text{и}\\ \Phi^{(\ell+1)}(x,\theta)&=W^{(\ell+1)}\bar{\Phi}^{(\ell)}(x,\theta)+b^{(\ell+1)},\quad\ell\in[L-1],\end{split}

Иллюстрация · Здесь используются один вход, два скрытых нейрона, один выход и ReLU. Другие сети имеют другие матрицы, смещения, размеры и активации.

Обозначения

$W^{(ℓ)}$: Матрица весов слоя ℓ с одной строкой на выход и одним столбцом на вход.
$b^{(ℓ)}$: Вектор смещений слоя ℓ.
$ρ$: Активация, применяемая к элементам скрытого слоя.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Вход x

Поток данных в этом примере

Вы выбираете

input.x = 1

Вычисляется здесь

Выражение результата: { hiddenBefore, hidden, output }

x = input.x Использует: input.x
hiddenBefore = [2 * x + 1, -x] Использует: x
hidden = hiddenBefore.map((value) => Math.max(0, value)) Использует: hiddenBefore
output = hidden[0] + 2 * hidden[1] Использует: hidden

Возвращает

Пример результата

hiddenBefore: массив (2 элементов): [3, -1]
hidden: массив (2 элементов): [3, 0]
output: 3

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Измените вход и снова запустите тот же код. Показанный результат получен для приведённых выше значений.

Источник: Формула из статьи