Современная математика глубокого обучения

Конечное семейство оценок и меток

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Классы моделей и структура · Описывают семейства правил, их размер и структурные свойства.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2 Обучение на примерах · 1.2.3 Работает ли это на новых примерах? · 1.3 Вопросы, которые нас ждут · Другие разделы источника

Источник образует семейство действительных правил сети изменением параметров, а семейство классификаторов — применением знака.

В примере пространство входов содержит только x=1, а два веса-кандидата дают оценки −1 и +1. Алгоритм обучения выбирает положительное правило для положительной метки.

Семейства функций описывают правила, которые может выбрать алгоритм.

Пример формулы источника

\mathcal F_{a,\operatorname{sgn}}=\{\operatorname{sgn}(\Phi_a(\cdot,\theta)): \theta\in\mathbb R^{P(N)}\}

Иллюстрация · Пример имеет конечную область и два явно выбранных значения параметров. Он не вычисляет размер, размерность VC или сложность Радемахера полного семейства сетей источника.

Обозначения

$ℱ_a$: Семейство реализаций архитектуры a при изменении параметров.
$ℱ_{a,sgn}$: Семейство классификаторов, полученное применением функции знака источника.
$\mathcal{M}(\mathcal{X},\mathcal{Y})$: Измеримые функции из пространства входов в пространство выходов.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

x = 1
weights = [-1, 1]
label = 1

Вычисляется здесь

Выражение результата: { x, weights, scores, classifiers, risks, selected, selectedClass, classSize: classifiers.length, vcDimension: 1, rademacherComplexity: 1, }

scores = weights.map((weight) => weight * x) Использует: weights, x
classifiers = scores.map((score) => (score >= 0 ? 1 : -1)) Использует: scores
risks = classifiers.map((prediction) => (prediction === label ? 0 : 1)) Использует: classifiers, label
selected = risks.indexOf(Math.min(...risks)) Использует: risks
selectedClass = [classifiers[selected]] Использует: classifiers, selected

Возвращает

Пример результата

x: 1
weights: массив (2 элементов): [-1, 1]
scores: массив (2 элементов): [-1, 1]
classifiers: массив (2 элементов): [-1, 1]
risks: массив (2 элементов): [1, 0]
selected: 1
selectedClass: массив (1 элементов): [1]
classSize: 2

… (10 элементов)

JavaScript

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

На одноточечной учебной области два двоичных правила — все функции из {1} в {−1,1}; положительное правило оптимально для показанной метки. Оба шаблона меток возможны на одной точке, поэтому учебная размерность VC равна 1. Для одной точки выборки супремум абсолютного знакового среднего по двум постоянным правилам ±1 равен 1 при любом случайном знаке, поэтому ожидаемая сложность Радемахера равна 1. Источник обсуждает ограниченный диапазон алгоритма, который может зависеть от данных; учебный selectedClass имеет один элемент и является собственным подмножеством этого семейства.

Источник: Семейства функций