Современная математика глубокого обучения

Функции активации

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Правила предсказания и слои · Описывают или применяют правила предсказания, слои и параметры.

Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах · 3.3 Другие способы измерить выразительность · 4.2 Приближение случайными частями

Активация изменяет число по фиксированному правилу. В таблице источника приведены несколько вариантов.

Ступенчатая функция равна 1 только при x > 0. ReLU равна нулю при отрицательном x. Сигмоида приближается к 0 и 1. Остальные результаты показывают формулы таблицы источника.

Разные активации дают сетям разные математические свойства.

Пример формулы источника

\varrho_R(x)=\max\{0,x\},\qquad\varrho_\sigma(x)=\frac1{1+e^{-x}}

Точное вычисление · Результат точен для этих учебных данных с учётом обычного округления на компьютере.

Обозначения

$x$: Действительный вход.
$a$: Положительный параметр в примерах с обратным квадратным корнем; PReLU дополнительно исключает a = 1.
$k$: Положительный целочисленный показатель.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Вход xПараметр aПоказатель k

Поток данных в этом примере

Вы выбираете

input.x = 0
input.a = 0,5
input.k = 2

Вычисляется здесь

Выражение результата: { linear: x, step: x > 0 ? 1 : 0, sigmoid: 1 / (1 + Math.exp(-x)), relu, powerRelu: relu ** k, parametricRelu: Math.max(a * x, x), elu: x >= 0 ? x : Math.exp(x) - 1, softsign: x / (1 + Math.abs(x)), inverseSqrtLinear: x >= 0 ? x ...

x = input.x Использует: input.x
a = input.a Использует: input.a
k = input.k Использует: input.k
relu = Math.max(0, x) Использует: x

Возвращает

Пример результата

linear: 0
step: 0
sigmoid: 0,5
relu: 0
powerRelu: 0
parametricRelu: 0
elu: 0
softsign: 0

… (14 элементов)

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Таблица включает линейную функцию, функцию Хевисайда, сигмоиду, ReLU, степенную ReLU, параметрическую ReLU, ELU, softsign, линейный блок обратного квадратного корня, блок обратного квадратного корня, tanh, arctan, softplus и функцию Гаусса. Показанный код вычисляет каждое значение. Источник допускает a = 0 для параметрической ReLU, но общий параметр здесь должен также удовлетворять условию положительности для примеров с обратным квадратным корнем.

Источник: Таблица 1.1