Современная математика глубокого обучения

Набор параметров сети

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Правила предсказания и слои · Описывают или применяют правила предсказания, слои и параметры.

Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах

Каждый слой имеет матрицу весов и вектор смещений; вместе они образуют набор параметров сети.

Их формы определяют прохождение входов через сеть.

Пример формулы источника

\theta=(\theta^{(\ell)})_{\ell=1}^{L}=((W^{(\ell)},b^{(\ell)}))_{\ell=1}^{L}\in\bigtimes_{\ell=1}^{L}({\mathbb{R}}^{N_{\ell}\times N_{\ell-1}}\times{\mathbb{R}}^{N_{\ell}})\cong{\mathbb{R}}^{P(N)}

Иллюстрация · Порядок векторизации выбирается произвольно; эквивалентность в источнике касается размерностей пространства параметров.

Обозначения

$θ$: Все веса и смещения слоёв.
$W⁽ˡ⁾,b⁽ˡ⁾$: Действительная матрица весов и вектор смещений слоя ℓ.
$Nₗ$: Число узлов слоя ℓ.
$P(N)$: Общее число скалярных параметров.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Первый вес

Поток данных в этом примере

Вы выбираете

input.w = 1

Вычисляется здесь

Выражение результата: { layers, count }

layers = [ { weights: [ [input.w, 2], [3, 4], ], bias: [0, 1], }, { weights: [[1, 2]], bias: [0] }, ] Использует: input.w
count = layers.reduce( (sum, l) => sum + l.weights.reduce((n, row) => n + row.length, 0) + l.bias.length, 0, ) Использует: layers

Возвращает

Пример результата

layers: массив (2 элементов): [объект (2 элементов), объект (2 элементов)]
count: 9

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Учебные ширины равны (2,2,1), что даёт (2×2+2)+(1×2+1) = 9 скаляров.

Источник: Формула из статьи