Современная математика глубокого обучения

Градиенты по параметрам

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Функции и производные · Описывают отображения и изменение их значений.

Векторы проекта имеют два признака; обучающая матрица содержит n строк и два столбца. Инструменты применимы, когда выполнены их предположения.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Градиент

Вход: Целевая функция: ≈0,237
Выход: [≈0,004056; ≈0,01907; ≈0,008327; ≈-0,008829; ≈-0,0138; ≈0,01504; ≈0,004773; ≈-0,005269; ≈-0,02337]

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Целевая функция → Градиент → Обновление

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.features · Признаки: [[≈-1,946; ≈-1,283]; [≈-0,6098; ≈-1,029]; [≈-0,4454; ≈0,9162]] … (12 элементов)
input.targets · Наблюдения: [0; 1; 2] … (12 элементов)
input.weights · Модель: [≈-0,2895; ≈-2,052; ≈-1,016] … (9 элементов)
input.alpha · Настройка проекта или константа: 0,001
input.task · Настройка проекта или константа: classification

JavaScript

Результат

[≈0,004056; ≈0,01907; ≈0,008327] … (9 элементов)

Используется в разделах источника: 1.2.1 Поиск более удачных параметров · 1.2.3 Работает ли это на новых примерах? · 2.1 Взгляд через сходство

Градиент по параметрам перечисляет частные производные выхода по каждому параметру сети.

Он описывает реакцию выхода на изменения параметров.

Пример формулы источника

\nabla_{\theta}\Phi_{{a}}(x,\theta)

Иллюстрация · Этот градиент точен для выбранной линейной сети; для других сетей нужны их собственные производные.

Обозначения

$Φ$: Функция сети.
$θ$: Её вектор параметров.
$∇θΦ$: Градиент по параметрам.
$x$: Вход сети.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

x = 3
theta = [2, 1]

Вычисляется здесь

Выражение результата: { x, theta, output, gradient }

output = theta[0] * x + theta[1] Использует: theta, x
gradient = [x, 1] Использует: x

Возвращает

Пример результата

x: 3
theta: массив (2 элементов): [2, 1]
output: 7
gradient: массив (2 элементов): [3, 1]

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Числовые значения вымышлены. Этот градиент точен для выбранной линейной сети; для других сетей нужны их собственные производные.

Источник: Обозначение в тексте