Современная математика глубокого обучения

Траектория двумерной сети

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Правила предсказания и слои · Описывают или применяют правила предсказания, слои и параметры.

Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 3.3 Другие способы измерить выразительность

Рисунок источника пропускает двумерную окружность через сеть ReLU и показывает полученную выходную кривую.

Пример использует два скрытых нейрона, единичные веса, нулевые смещения и один скрытый слой.

Проследив всю входную кривую, можно увидеть, как сеть меняет её форму.

Пример формулы источника

t\mapsto\Phi_{((2,n,\ldots,n,2),\varrho_R)}(\gamma(t),\theta)

Иллюстрация · Здесь вычисляется одна точка кривой вымышленной сети. Рисунок источника использует случайно инициализированные сети разной глубины; пример не воспроизводит этот эксперимент.

Обозначения

$γ$: Входная кривая γ(t)=(cos 2πt,sin 2πt).
$n$: Ширина скрытого слоя; в примере n=2.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Параметр кривой t

Поток данных в этом примере

Вы выбираете

input.t = 0

Вычисляется здесь

Выражение результата: { point, hidden, output }

t = input.t Использует: input.t
angle = 2 * Math.PI * t Использует: t
point = [Math.cos(angle), Math.sin(angle)] Использует: angle
hidden = point.map((value) => Math.max(0, value)) Использует: point
output = [...hidden] Использует: hidden

Возвращает

Пример результата

point: массив (2 элементов): [1, 0]
hidden: массив (2 элементов): [1, 0]
output: массив (2 элементов): [1, 0]

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Рисунок источника изучает двумерную окружность и сети шириной 20 с несколькими глубинами. Пример выбирает ширину 2 с единичными весами, чтобы непосредственно вычислить эффект одного слоя.

Источник: Рисунок траектории сети