Современная математика глубокого обучения

Решение потока с постоянным ядром

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Ядра и линеаризация · Связывают градиенты параметров или признаки с матрицами ядер.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 2.1 Взгляд через сходство

Источник записывает предсказание вдоль траектории градиентного потока с постоянным ядром с помощью матричного выражения C(t).

Для одной обучающей точки с ядром 1, целью 2, начальным предсказанием 0 и квадратичной потерей C(t) = 1 − exp(−2t).

Этот частный случай показывает приближение предсказаний к цели со временем.

Пример формулы источника

\Phi({\cdot},\Theta(t))=C(t)(y^{(i)})_{i=1}^{m}+\big(\Phi(\cdot,\Theta_{0})-C(t)(\Phi(x^{(i)},\Theta_{0}))_{i=1}^{m}\big),

Иллюстрация · Код решает только указанный случай одной точки с постоянным ядром. Он не устанавливает постоянство ядра произвольной конечной сети.

Обозначения

$C(t)$: Матричный коэффициент источника, сведённый к одному скаляру в примере.
$Θ_0$: Начальные параметры.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Время t

Поток данных в этом примере

Вы выбираете

input.t = 1

Начальные значения в коде

target = 2
initialPrediction = 0

Вычисляется здесь

Выражение результата: { c, target, initialPrediction, prediction }

c = 1 - Math.exp(-2 * input.t) Использует: input.t
prediction = c * target + (initialPrediction - c * initialPrediction) Использует: c, target, initialPrediction

Возвращает

Пример результата

c: ≈0,8647
target: 2
initialPrediction: 0
prediction: ≈1,729

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Источник использует квадратичную потерю и предельное ядро с обратимой матрицей ядра на выборке. C(t) содержит эту матрицу, её обратную и матричную экспоненту. Для одной точки, ядра 1 и m=1 скалярное выражение равно 1−exp(−2t). Полное выражение источника включает начальные предсказания в запрашиваемой и обучающих точках.

Источник: Выражение из статьи