Поиск лучших параметров

Обучение меняет настройки сети, чтобы уменьшить потерю — число, измеряющее ошибки. Для одного веса w отложим его значение по горизонтали, а потерю L(w) по вертикали. Наклон показывает, как меняется потеря при малом изменении w: положительный наклон означает, что увеличение w повышает потерю. При многих весах градиент собирает эти наклоны, а обратное распространение вычисляет их, проходя сеть в обратном направлении.

Скрытый нейрон умножает входы на веса, добавляет смещение и применяет правило, называемое функцией активации. ReLU заменяет отрицательные числа нулём. Выход складывает результаты нейронов, умножив каждый на выходной вес.

function networkOutput(x) {
  return { output: 3 * Math.max(0, x - 1) + 2 * Math.max(0, -x + 1) };
}
const result = networkOutput(2);

В формуле x — вход, θ содержит веса и смещения, n — число скрытых нейронов, а ρ — функция активации. Запись [x; 1] добавляет к входам число 1. Умножив эту единицу на смещение и прибавив результат, мы включаем смещение в ту же взвешенную сумму. Изменение θ меняет потерю и образует её ландшафт.

На плоском участке небольшие изменения почти не влияют на потерю. Дно впадины — локальный минимум: соседние настройки не дают меньшей потери. Седловая точка может быть дном в одном направлении, но вершиной в другом. Статья спрашивает, почему обучение часто находит полезные настройки, несмотря на такие формы. Некоторые результаты соединяют широкие сети путями, на которых потеря возрастает совсем немного.

Другие рассуждения сравнивают упрощённые ландшафты потери с моделями статистической физики, которая изучает совместное поведение множества взаимодействующих частей. Для сравнения нужны предположения о ландшафте, которые могут не выполняться в практических сетях. Локальный минимум не обязательно даёт наименьшую потерю среди всех возможных настроек.

Кажется, что сети нужно сильно изменить веса, чтобы выучить что-то новое. Неожиданно, в некоторых очень широких сетях множество весов может измениться лишь немного по отдельности и всё же достаточно изменить выход.

Возьмём более простое правило f(w) = w² около w = 2. При 2 результат равен 2² = 4, при 2.1 — 2.1² = 4.41. Изменение можно оценить по наклону в точке 2.

function linearApproximation(weight, change) {
  const linear = weight ** 2 + 2 * weight * change;
  const exact = (weight + change) ** 2;
  return { linear, exact };
}
const result = linearApproximation(2, 0.1);

Начнём с 2² = 4. Наклон в точке 2 равен 4, поэтому при изменении на 0.1 оценка изменения равна 4×0.1 = 0.4. Прибавляем к 4 и получаем 4.4, что близко к точному результату 2.1² = 4.41. Почему? При малом изменении Δ имеем (2 + Δ)² = 4 + 4Δ + Δ²; оценка оставляет в стороне малое Δ². В формуле сети Θ₀ — начальные настройки, θ — новые, а градиент перечисляет начальные скорости изменения для каждого параметра.

Статья применяет такое линейное приближение к сети вблизи начальных весов. Для достаточно широких сетей с подходящими начальными значениями и другими указанными предположениями исследователи могут показать, что приближение остаётся полезным во время обучения.

В этих специальных режимах градиенты могут быть достаточно сильны, чтобы надёжно уменьшать потерю обучения без больших перемещений весов. Это помогает объяснить некоторые результаты о сходимости, но не доказывает, что все сети успешно обучаются или что малые изменения весов всегда обобщают.