Современная математика глубокого обучения

Признаки, матрица Грама и градиент

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Ядра и линеаризация · Связывают градиенты параметров или признаки с матрицами ядер.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Вектор признака содержит значение одного скрытого узла на каждом примере. Сумма внешних произведений по узлам образует матрицу Грама.

Эти величины связывают параметры сети с потерей и оптимизацией.

Пример формулы источника

\bar{K}_{\Theta}=\sum_{k=1}^{n}v_{k}v_{k}^{T}\qquad\text{при}\quad v_{k}=\left(\varrho\left(\left\langle\Theta^{(1)}_{k},\begin{bmatrix}x^{(i)}\\ 1\end{bmatrix}\right\rangle\right)\right)_{i=1}^{m}\in{\mathbb{R}}^{m},\quad k\in[n].

Иллюстрация · Условные конечные входы иллюстрируют выражение. Они не доказывают общую тождественность, оценку или существование.

Обозначения

$K̄$: Матрица Грама градиентов по выходным весам размера m×m.
$vₖ$: Вектор длины m значений скрытого признака k на обучающих входах.
$n,m$: Положительные целые: число скрытых узлов и обучающих примеров.
$Θ$: Параметры сети при инициализации.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Второй признак

Поток данных в этом примере

Вы выбираете

input.feature = 2

Начальные значения в коде

errors = [1, 1]

Вычисляется здесь

Выражение результата: { gram, quadratic, outputWeightGradientSquared: quadratic }

features = [ [1, 0], [0, input.feature], ] Использует: input.feature
gram = features.map((a) => features.map((b) => a.reduce((sum, v, i) => sum + v * b[i], 0)), ) Использует: features
quadratic = errors.reduce( (sum, e, i) => sum + e * gram[i].reduce((a, v, j) => a + v * errors[j], 0), 0, ) Использует: errors, gram

Возвращает

Пример результата

gram: массив (2 элементов): [массив (2 элементов): [1, 0], массив (2 элементов): [0, 4]]
quadratic: 5
outputWeightGradientSquared: 5

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Примеров два, поэтому множитель градиента квадратичной потери 4/m² равен 1. Матрица Грама построена из векторов признаков на примерах; эквивалентно это матрица скалярных произведений градиентов по выходным весам для каждого примера.

Источник: Выражение из статьи