Современная математика глубокого обучения

Внешнее произведение и транспонирование

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классификация предсказывает три вида; гребневая регрессия предсказывает массу в граммах по тем же наблюдениям. Это разные модели. Прогнозы обучения поступают в целевую функцию; 102 отдельных тестовых прогноза не обновляют веса.

Векторы и матрицы · Описывают операции над векторами и матрицами.

Векторы проекта имеют два признака; обучающая матрица содержит n строк и два столбца. Инструменты применимы, когда выполнены их предположения.

ЗадачаПримеры для обученияШаги обученияШтраф αПример для проверки

Операция проекта

Выход: [[1; ≈-0,6715; ≈-0,5215]; [≈-0,6715; ≈0,4509; ≈0,3502]; [≈-0,5215; ≈0,3502; ≈0,272]]

Операция проекта

Вычисление проекта использует эти записи; формула и пример источника приведены ниже. Изменения кода действуют на этой странице; настройки проекта передаются между страницами.

Признаки → Операция проекта → Операция проекта

Вход проекта

Показаны первые три элемента; операция получает весь массив. Предпросмотр округлён; операция использует полную точность.

input.vector · Признаки: [1; ≈-0,6715; ≈-0,5215]

JavaScript

Результат

[[1; ≈-0,6715; ≈-0,5215]; [≈-0,6715; ≈0,4509; ≈0,3502]; [≈-0,5215; ≈0,3502; ≈0,272]]

Используется в разделах источника: 2.4 Двойной спуск

Транспонирование превращает вектор-столбец в строку. Их произведение — матрица попарных произведений элементов.

Внешние произведения встречаются в матрицах вторых моментов.

Пример формулы источника

{\mathbbm{E}}[XX^{T}]

Иллюстрация · Результат использует это конечное распределение. Для общих распределений требуется математическое ожидание по всем возможным векторам.

Обозначения

$X$: Действительный вектор-столбец.
$Xᵀ$: Его транспонированный вектор.
$XXᵀ$: Квадратная матрица внешнего произведения.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

vectors = [ [1, 0], [0, 2], ]
probabilities = [0.5, 0.5]

Вычисляется здесь

Выражение результата: { vectors, probabilities, moment }

moment = [0, 1].map((i) => [0, 1].map((j) => vectors.reduce((s, x, k) => s + probabilities[k] * x[i] * x[j], 0)), ) Использует: vectors, probabilities

Возвращает

Пример результата

vectors: массив (2 элементов): [массив (2 элементов): [1, 0], массив (2 элементов): [0, 2]]
probabilities: массив (2 элементов): [0,5, 0,5]
moment: массив (2 элементов): [массив (2 элементов): [0,5, 0], массив (2 элементов): [0, 2]]

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Числовые значения в этом примере вымышлены. Результат использует это конечное распределение. Для общих распределений требуется математическое ожидание по всем возможным векторам.

Источник: Обозначение в тексте