Проектирование нейросети

Соседние пиксели могут составлять небольшой участок границы. Фильтр — короткий список весов для нескольких соседних значений яркости. Он умножает каждое значение на соответствующий вес и складывает результаты.

Переместите один и тот же фильтр из двух чисел (1, −1) по условным значениям (3, 2, 4). В каждом окне перемножьте соответствующие элементы и сложите их.

function neighboringDifferences(values) {
  return { outputs: [values[0] - values[1], values[1] - values[2]] };
}
const result = neighboringDifferences([3, 2, 4]);

Переместим один и тот же фильтр [1, −1] по значениям [3, 2, 4]. В первой позиции вычисляем 1×3 − 1×2 = 1, во второй — 1×2 − 1×4 = −2. Фильтр используется повторно вместо изучения новой пары весов в каждой позиции.

Это повторное локальное вычисление лежит в основе свёрточных сетей. Следующий этап может обобщить соседние отклики фильтра и уменьшить размер изображения; это часто называют пулингом. Статья изучает, как локальные вычисления, общие веса и поведение при сдвиге шаблона ограничивают функции, которые сеть может выражать.

Во время обучения сигнал настройки проходит назад через слои. Каждый слой умножает его на множитель, описывающий влияние слоя. Например, сигнал 1 при трёх умножениях на 0.5 становится 0.5, затем 0.25 и 0.125. Множители меньше 1 могут сделать сигнал крошечным, а множители больше 1 — огромным. В обоих случаях ранние слои трудно настроить.

Остаточный блок сохраняет прежнее значение и добавляет поправку вместо его полной замены.

В остаточном слое статьи активированная поправка добавляется к предыдущему слою. В примере возьмём прежнее значение 3 и поправку 1.

function residualBlock(value, correction) {
  const activated = Math.max(0, correction);
  return { input: value, correction: activated, output: value + activated };
}
const result = residualBlock(3, 1);

Здесь Φ с чертой — выход остаточного слоя, ℓ — номер слоя, Φ — вычисленная поправка до активации, ρ — функция активации, а θ содержит параметры. В примере ReLU сохраняет 1, поэтому 3 + 1 = 4.

Прямой путь также позволяет сигналу настройки проходить назад, минуя последовательность поправок. Статья связывает множество малых обновлений с описанием движения через вычисления за короткие промежутки времени один за другим. Прямая связь может помочь, но не гарантирует лёгкого обучения.

При уменьшении изображения можно потерять мелкие, но важные детали. U-образная сеть сначала сжимает информацию, а затем восстанавливает изображение. Её длинные связи могут передавать более ранние детали для восстановления.

Найдите среднее условных значений пикселей 2 и 4 и сохраните половину их разности. Используйте обе части для восстановления входов.

function splitAndReconstruct(first, second) {
  const average = (first + second) / 2;
  const detail = (first - second) / 2;
  const reconstructed = [average + detail, average - detail];
  return { average, detail, reconstructed };
}
const result = splitAndReconstruct(2, 4);

Для пикселей 2 и 4 среднее равно (2 + 4)/2 = 3, а половина разности — (2 − 4)/2 = −1. Сохранив оба значения, можно восстановить 3 − 1 = 2 и 3 + 1 = 4. Одно среднее дало бы два значения 3 и потеряло контраст.

Среднее описывает общее у двух пикселей, а разность — их различие. Статья использует более богатый набор локальных и общих шаблонов, называемый фреймом, чтобы описать изображение числами: каждое показывает, сколько в нём соответствующего шаблона. При указанных условиях эти числа позволяют восстановить изображение.

В U-Net пропускающие связи переносят полезные ранние признаки через путь сжатия. Точность восстановления зависит от фильтров и архитектуры, а не просто от изображения в форме буквы U.

Разные группы обучающих примеров могут передавать в слой числа с разными средними и разбросом. Пакетная нормализация меняет их масштаб с помощью значений текущей группы, затем применяет обучаемые параметры масштаба и сдвига.

Возьмём пакет из чисел 1 и 3. Сначала найдём среднее. Затем измерим разброс: возведём отклонения от среднего в квадрат, усредним квадраты и извлечём квадратный корень.

function normalizeBatch(values) {
  if (values.length === 0) throw new Error('Пакет не может быть пустым.');
  let total = 0;
  for (const value of values) total += value;
  const mean = total / values.length;
  let squaredTotal = 0;
  for (const value of values) squaredTotal += (value - mean) ** 2;
  const spread = Math.sqrt(squaredTotal / values.length);
  if (spread === 0) throw new Error('Разброс пакета должен быть ненулевым.');
  const normalized = [];
  for (const value of values) normalized.push((value - mean) / spread);
  return { mean, spread, normalized };
}
const result = normalizeBatch([1, 3]);

Среднее равно (1 + 3)/2 = 2. Вычитаем его из каждого числа: разности равны −1 и +1. Возводим их в квадрат и усредняем: ((−1)² + 1²)/2 = 1. Корень из 1 равен 1 — это мера разброса, стандартное отклонение. Вычитаем 2 и делим на этот разброс: получаем [−1, 1].

Статья изучает, как нормализация может изменить реакцию потери на изменение настроек. При некоторых условиях она может сделать эту реакцию более плавной и помочь в поиске настроек. Это не гарантирует лучшей итоговой модели.

Если все числа в группе одинаковы, стандартное отклонение равно нулю. Базовая формула не может делить на ноль; практические реализации добавляют небольшой стабилизирующий член. Иллюстрация использует неодинаковые значения.

Большие сети могут содержать связи, мало влияющие на конкретный выход. Прореживание обнуляет некоторые веса, чтобы нужно было сохранять меньше связей.

В этом условном примере результат — сумма трёх весов, умноженных на входы. Удалите малый вес и сравните полученный выход с исходным.

function pruneWeights(weights, cutoff) {
  if (!(cutoff >= 0)) throw new Error('Порог не может быть отрицательным.');
  let original = 0;
  let pruned = 0;
  for (const weight of weights) {
    original += weight;
    if (Math.abs(weight) >= cutoff) pruned += weight;
  }
  return { original, pruned };
}
const result = pruneWeights([2, 0.1, 1], 0.2);

Для условного входа, где все признаки равны 1, вклады 2, 0.1 и 1 дают в сумме 3.1. Удаление вклада 0.1 даёт 3, всего на 0.1 меньше для этого входа. Но на других входах эффект удаления связи может измениться.

Статья доказывает, что при заданных предположениях очень широкую двухслойную сеть ReLU можно приблизить значительно более разреженной, если скорректировать некоторые сохранённые выходные веса. Гарантия касается близости к выходу исходной сети, а не автоматической правильности относительно истинных меток.

Иллюстрация разреженных связей посвящена удалению весов. Это отличается от описаний разреженных шаблонов, которые встретятся в главе 7.

Фотография — это один набор пикселей. Слова предложения или удары колокола поступают в определённом порядке. Иногда следующий ответ должен зависеть от предыдущего.

Рекуррентная сеть хранит состояние — число или набор чисел с информацией о предыдущих входах. При поступлении следующего входа сеть обновляет состояние по одному и тому же правилу.

Для последовательности, отличной от задания, представим колокол, который даёт 1 при каждом звонке. На каждом шаге предыдущее состояние делится пополам и добавляется текущий звонок.

function recurrentStep(first, memory, nextInput) {
  const second = memory * first + nextInput;
  return { first, second };
}
const result = recurrentStep(1, 0.5, 1);

Начнём с состояния 0. Если звонок добавляет 1, а старое состояние делится пополам, первый шаг даёт 0/2 + 1 = 1. При втором звонке получаем 1/2 + 1 = 1.5. Число 1.5 несёт информацию об обоих шагах.

Для обучения повторяющегося правила сеть посылает сигнал настройки назад через шаги. Многократное умножение может сделать сигнал крошечным или огромным, и ранние шаги трудно настроить. Это называют затухающими и взрывающимися градиентами. Некоторые сети используют вентили для управления сохранённой информацией; состояние не является совершенной памятью.