Современная математика глубокого обучения

Словарь обозначений

Значение математических обозначений зависит от контекста.

$\sum$ Сумма

Сложите перечисленные слагаемые.

Открыть пример

$\langle x,\theta\rangle$ Скалярное произведение

Перемножьте соответствующие элементы векторов и сложите результаты.

Открыть пример

$\|x\|_2$ Евклидова норма

Возведите элементы в квадрат, сложите и извлеките квадратный корень.

Открыть пример

$A x$ Произведение матрицы на вектор

Найдите скалярное произведение каждой строки матрицы с вектором.

Открыть пример

$\nabla r$ Градиент

Вектор частных производных функции r: они показывают, как функция меняется при изменении каждой переменной.

Открыть пример

$\ell$ Функция потерь

Число, описывающее ошибку предсказания для одного примера.

Открыть пример

$\widehat{\mathcal R}_{s}$ Эмпирический риск

Средняя потеря на конечной выборке s.

Открыть пример

$\varrho_R$ Функция ReLU

Большее из двух значений: ноль или вход.

Открыть пример

$\gamma(\theta)$ Отступ

Для связанного линейного бинарного классификатора — наименьшее произведение метки на предсказание.

Открыть пример

$\|\phi\|_0$ Число ненулевых элементов

Количество ненулевых элементов вектора.

Открыть пример

$\mu_b,\sigma_b$ Среднее и стандартное отклонение пакета

Среднее и стандартное отклонение значений в пакете.

Открыть пример

$K$ Прямое отображение

Правило, которое переводит возможное значение неизвестной величины в предсказанные наблюдения.

Открыть пример

Словарь обозначений

∑\sum∑ Сумма

⟨x,θ⟩\langle x,\theta\rangle⟨x,θ⟩ Скалярное произведение

∥x∥2\|x\|_2∥x∥2​ Евклидова норма

AxA xAx Произведение матрицы на вектор

∇r\nabla r∇r Градиент

ℓ\ellℓ Функция потерь

R^s\widehat{\mathcal R}_{s}Rs​ Эмпирический риск

ϱR\varrho_RϱR​ Функция ReLU

γ(θ)\gamma(\theta)γ(θ) Отступ

∥ϕ∥0\|\phi\|_0∥ϕ∥0​ Число ненулевых элементов

μb,σb\mu_b,\sigma_bμb​,σb​ Среднее и стандартное отклонение пакета

KKK Прямое отображение

$\sum$ Сумма

$\langle x,\theta\rangle$ Скалярное произведение

$\|x\|_2$ Евклидова норма

$A x$ Произведение матрицы на вектор

$\nabla r$ Градиент

$\ell$ Функция потерь

$\widehat{\mathcal R}_{s}$ Эмпирический риск

$\varrho_R$ Функция ReLU

$\gamma(\theta)$ Отступ

$\|\phi\|_0$ Число ненулевых элементов

$\mu_b,\sigma_b$ Среднее и стандартное отклонение пакета

$K$ Прямое отображение