Современная математика глубокого обучения

Свёртка и носитель

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 3.1 Правило, зависящее от расстояния

Носитель указывает, где функция ненулевая. Источник использует правило свёртки Фурье и ограничивает её носитель, прибавляя шар к каждой прямой направления.

Пример показывает то же правило сложения носителей для циклической свёртки на пяти дискретных позициях.

Ограничения носителя помогают объяснить препятствие приближению неглубокой сетью.

Пример формулы источника

\supp(\widehat{\Phi\varphi})=\supp(\hat{\Phi}*\hat{\varphi})\subset\bigcup_{j=1}^{n}\left(\spann\{w_{j}\}+B_{r}(0)\right).

Иллюстрация · Дискретный циклический пример показывает включение носителей, а не тождество непрерывного преобразования Фурье или теорему. Взаимное сокращение может сделать фактический носитель меньше возможного множества.

Обозначения

$\hatΦ$: Преобразование Фурье неглубокой сети.
$φ$: Квадратный корень плотности меры в построении источника.
$B_r(0)$: Шар радиуса r вокруг начала координат.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Второй элемент фильтра

Поток данных в этом примере

Вы выбираете

input.second = 1

Начальные значения в коде

a = [1, 0, 0, 2, 0]

Вычисляется здесь

Выражение результата: { convolution, supportA, supportB, possible, actual }

b = [1, input.second, 0, 0, 0] Использует: input.second
n = a.length Использует: a
convolution = a.map((_, i) => a.reduce((sum, value, j) => sum + value * b[(i - j + n) % n], 0), ) Использует: a, b, n
supportA = a.flatMap((value, i) => (value !== 0 ? [i] : [])) Использует: a
supportB = b.flatMap((value, i) => (value !== 0 ? [i] : [])) Использует: b
possible = [ ...new Set(supportA.flatMap((i) => supportB.map((j) => (i + j) % n))), ].sort((x, y) => x - y) Использует: supportA, supportB, n
actual = convolution.flatMap((value, i) => (value !== 0 ? [i] : [])) Использует: convolution

Возвращает

Пример результата

convolution: массив (5 элементов): [1, 1, 0, 2, …]
supportA: массив (2 элементов): [0, 3]
supportB: массив (2 элементов): [0, 1]
possible: массив (4 элементов): [0, 1, 3, 4]
actual: массив (4 элементов): [0, 1, 3, 4]

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник выбирает преобразование Фурье φ как индикатор шара, а носитель Фурье неглубокой сети лежит на прямых направлений. Свёртка расширяет эти носители до объединения прямых плюс шар. Конечный циклический аналог явно вычисляет возможные суммы индексов носителей.

Источник: Носитель Фурье