Современная математика глубокого обучения

Длина траектории признака

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Приближение и глубина · Изучают ошибку приближения и размер сети при заданных условиях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 3.3 Другие способы измерить выразительность

Кривая в пространстве входов проходит через сеть. Выходы слоя описывают другую кривую, длина которой показывает, какое расстояние проходят эти выходы.

Для γ(t)=t и признака ReLU(2t−1), t в [0,1], выход остаётся нулевым первую половину, затем возрастает до единицы.

Длина траектории — одна из мер в обсуждении выразительности источника.

Пример формулы источника

\operatorname{Length}(\bar{\Phi}^{(\ell)}(\gamma(\cdot),\theta)),\quad\ell\in[L-1],

Иллюстрация · Для этого монотонного одномерного примера сумма отрезков равна точной длине траектории. Длина ломаной по конечному числу точек обычно отличается от длины произвольной кривой.

Обозначения

$γ$: Непрерывная входная кривая на [0,1].
$Φ̄^{(ℓ)}$: Активированный выход слоя ℓ.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Положительный масштаб

Поток данных в этом примере

Вы выбираете

input.scale = 2

Начальные значения в коде

points = [0, 0.5, 1]

Вычисляется здесь

Выражение результата: { points, output, segmentLengths, length: segmentLengths.reduce((a, b) => a + b, 0), }

output = points.map((t) => Math.max(0, input.scale * t - 1)) Использует: points, input.scale
segmentLengths = output.slice(1).map((value, i) => Math.abs(value - output[i])) Использует: output

Возвращает

Пример результата

points: массив (3 элементов): [0, 0,5, 1]
output: массив (3 элементов): [0, 0, 1]
segmentLengths: массив (2 элементов): [0, 1]
length: 1

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Учебный признак монотонен на [0,1], поэтому его точная полная вариация равна разнице конечных значений. Источник изучает длину траектории для случайных инициализаций нейросети и обсуждает её изменение с глубиной слоёв.

Источник: Траектория признака