Современная математика глубокого обучения

Подсчёт параметров сети

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классы моделей и структура · Описывают семейства правил, их размер и структурные свойства.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах · 1.2.3 Работает ли это на новых примерах? · 1.3 Вопросы, которые нас ждут · Другие разделы источника

Каждый слой имеет один вес на каждую пару входа и выхода и одно смещение на каждый выход. Сложите эти количества по всем слоям.

Число параметров описывает размер полносвязной сети.

Пример формулы источника

P(N)\coloneqq\sum_{\ell=1}^{L}N_{\ell}N_{\ell-1}+N_{\ell}

Точное вычисление · Результат точен для этих учебных данных с учётом обычного округления на компьютере.

Обозначения

$N_ℓ$: Положительная целочисленная ширина слоя ℓ.
$L$: Число слоёв с параметрами.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Скрытые нейроны

Поток данных в этом примере

Вы выбираете

input.hidden = 3

Вычисляется здесь

Выражение результата: { counts, total: counts.reduce((a, b) => a + b, 0) }

widths = [2, input.hidden, 1] Использует: input.hidden
counts = widths.slice(1).map((width, i) => width * widths[i] + width) Использует: widths

Возвращает

Пример результата

counts: массив (2 элементов): [9, 4]
total: 13

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Для ширин [2, 3, 1] первый слой имеет 2×3 весов и 3 смещения; второй имеет 3 веса и 1 смещение.

Источник: Формула из статьи