Современная математика глубокого обучения

Вблизи инициализации

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Теория оптимизации · Изучает сходимость и геометрию потерь при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 5.2 Когда параметры меняются совсем немного

Вычтите начальный вектор из текущего вектора параметров и проверьте, не превышает ли его евклидова длина единицу.

Источник использует локальные оценки градиента, пока итерации остаются в этой окрестности.

Пример формулы источника

\|\Theta^{(k)}-\Theta\|\leq 1

Иллюстрация · Проверка одной итерации не устанавливает условие для всей траектории обучения.

Обозначения

$Θ$: Начальный вектор.
$Θ⁽ᵏ⁾$: Вектор параметров на итерации k.
$\Vert ·\Vert$: Евклидова норма.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Первая координата

Поток данных в этом примере

Вы выбираете

input.displacement = 0,5

Начальные значения в коде

initial = [0, 0]

Вычисляется здесь

Выражение результата: { initial, current, distance, withinUnitBall: distance <= 1 }

current = [input.displacement, 0] Использует: input.displacement
distance = Math.hypot(current[0] - initial[0], current[1] - initial[1]) Использует: current, initial

Возвращает

Пример результата

initial: массив (2 элементов): [0, 0]
current: массив (2 элементов): [0,5, 0]
distance: 0,5
withinUnitBall: истина

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Здесь условие проверяется для одной условной итерации; источник требует его для каждого указанного k.

Источник: Выражение из статьи