За пределами тренировочных примеров

Изменение одного веса может одновременно изменить ответы для нескольких входов. Например, если первое входное число в одном случае равно 1, а в другом 2, увеличение его веса на 1 повысит ответы на 1 и 2. Признаки показывают, насколько сильно ответы меняются вместе.

Чтобы сравнить два списка, умножим числа на одинаковых местах и сложим: (1, 2) и (2, 1) дают 1×2 + 2×1 = 2 + 2 = 4. Нейронное касательное ядро статьи так сравнивает списки изменений предсказания. В задании с лентой оценка показывает, насколько длина близка к 5. Ни одна из этих оценок не является вероятностью или расстоянием.

В правиле Φ(x, θ) = θ₁x₁ + θ₂x₂ символ θ обозначает список весов. Список (x₁, x₂) показывает, насколько изменится ответ при увеличении каждого веса на единицу. Этот список скоростей изменения называют градиентом.

function similarity(firstGradient, secondGradient) {
  const similarity = firstGradient[0] * secondGradient[0]
    + firstGradient[1] * secondGradient[1];
  return { similarity };
}
const result = similarity([1, 2], [2, 1]);

Нейронное касательное ядро сравнивает эти градиенты для двух входов. Для очень широких сетей при определённых условиях инициализации и обучения это сравнение мало меняется в процессе обучения.

В этом режиме списки, показывающие, как предсказания меняются при изменении весов, почти не меняются сами. Обучение тогда примерно похоже на работу более простой модели с почти неизменными признаками, хотя выход сети может зависеть от входов нелинейно. Это называют ядерным режимом или ленивым обучением. Он описывает конкретные условия, а не все полезные сети.

Подсчёт весов — грубая мера свободы поведения сети. Большая сеть с малыми или иным образом контролируемыми весами может отличаться от сети, чьи веса становятся огромными.

Оценка 6 предсказывает +1, а оценка −6 — −1. Умножим оценку на правильную метку y, равную +1 или −1. Результат M = y×f(x) называется исходным отступом. Положительный отступ означает правильную сторону; чем он больше, тем больше числовой запас. Ноль — особая граница.

Для f(x) = wx без смещения деление исходного отступа на |w| даёт расстояние со знаком: плюс означает правильную сторону границы. При весе 2 и положительном примере в точке 3 исходный отступ равен 6. Делим 6 на 2: до границы в нуле 3 единицы.

function classificationMargin(weight, value) {
  if (weight === 0) throw new Error('Вес должен быть ненулевым.');
  const score = weight * value;
  const norm = Math.abs(weight);
  return { score, norm, margin: score / norm };
}
const result = classificationMargin(2, 3);

Условная оценка кошки 7 баллов против оценки собаки 5 баллов даёт разницу 2 балла. Если изменить оценку кошки на 3, разница станет −2: побеждает собака. Иллюстрация показывает разницу оценок; знаковый отступ статьи использует метку, умноженную на исходную оценку.

Если удвоить положительный вес, оценка и исходный отступ удвоятся, но граница останется в нуле, а расстояние — равным 3. Статья изучает границы, основанные на величине весов и отступах, при определённых условиях; большой отступ сам по себе не гарантирует успеха на новых примерах.

Две сети могут делать одинаково мало ошибок на обучении, но давать разные предсказания в других точках. Процесс поиска весов может влиять на то, какое из множества подходящих решений мы получим.

Сравним два простых правила: оба подходят для обучающей точки (0, 0), но дают разные ответы на новом входе. Это показывает выбор среди подходящих правил. Результат статьи относится к другой задаче: классификации, где прямая граница может разделить две метки.

Два условных правила возвращают 0 на единственном обучающем входе 0. На новом входе одно возвращает 0, а другое — сам вход.

function compareRules(newInput) {
  return { trainingA: 0, trainingB: 0, newA: 0, newB: newInput };
}
const result = compareRules(1);

Явный штраф — это стоимость, которую мы добавляем к оценке при обучении. Неявное предпочтение возникает из самого способа поиска, даже без такого штрафа. Например, поиск может предпочесть одно из нескольких подходящих правил. При особых условиях градиентный спуск в простых линейных моделях стремится к малым весам или большому отступу.

Статья также обсуждает форму близлежащих значений потери, или пологий ландшафт потерь. Эти идеи предлагают возможные объяснения обобщения, но не доказывают, что конкретная глубокая сеть найдёт решение с наилучшим обобщением.

При слишком малом числе изменяемых чисел модель может пропустить реальную закономерность. Увеличение её свободы поначалу часто помогает. Классическое представление предполагает, что дальнейшее увеличение свободы в итоге создаёт проблемы из-за подгонки под шум.

Но некоторые модели показывают другую кривую. Ошибка на новых примерах может вырасти около точки, где модель впервые подгоняется под все тренировочные метки, а затем снова снизиться при увеличении модели. Статья называет это двойным спуском.

Для двух значений −1 и +1 среднее равно 0. Квадраты расстояний от 0 равны 1 и 1, их среднее равно 1. Такое среднее называется дисперсией. Статья изучает независимо выбранные случайные признаки с дисперсией 1. Их истинные веса равны нулю, поэтому они не несут сигнала о цели. Дисперсия случайного шума тоже равна 1. Результат сравнивает число весов и примеров, когда оба становятся большими.

function varianceByRatio(ratios) {
  const variance = [];
  for (const ratio of ratios) {
    if (!(ratio > 0) || ratio === 1) {
      throw new Error('Отношение должно быть положительным и не равным 1.');
    }
    if (ratio < 1) variance.push(ratio / (1 - ratio));
    else variance.push(1 / (ratio - 1));
  }
  return { ratios, variance };
}
const result = varianceByRatio([0.5, 0.75, 1.5, 3]);

Иллюстрация содержит вымышленные количества ошибок для разных размеров; переместите регулятор и прочитайте значение на графике. Это не экспериментальное свидетельство и не предсказание для вашей сети.

Статья анализирует конкретные случаи линейной регрессии, в которых такое поведение можно вывести математически. Помогают ли дополнительные параметры, зависит от распределения входов, корреляций и алгоритма обучения. Больше не всегда означает лучше.