Современная математика глубокого обучения

Конечный пример симметризации

Проект с пингвинами

Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV

Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.

Обобщение и границы риска · Связывают поведение на выборке с риском на распределении при заданных предположениях.

Проект содержит конечные наблюдения и обученные параметры. Проверочная выборка не устанавливает границы для генеральной совокупности и не доказывает теорему.

Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.

Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].

Используется в разделах источника: 1.2.3 Работает ли это на новых примерах? · 1.2 Обучение на примерах

Источник сравнивает выборку с независимой призрачной выборкой, затем ограничивает ожидаемый разрыв с помощью случайных знаков.

Этот пример перечисляет все выборки, призрачные выборки и пары знаков для распределения Бернулли из двух примеров и семейства {0,z}.

Вычисление явно показывает математическое ожидание и конечный супремум.

Пример формулы источника

\begin{split}{\mathbbm{E}}\big[{\varepsilon}^{\mathrm{gen}}\big]={\mathbbm{E}}\Big[\sup_{f\in{\mathcal{F}}}|{\mathcal{R}}(f)-\widehat{\mathcal{R}}_{S}(f)|\Big]&={\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}{\mathbbm{E}}\big[g(\widetilde{Z}^{(i)})-g(Z^{(i)})|{S}\big]\big|\Big]\\ &\leq{\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}g(\widetilde{Z}^{(i)})-g(Z^{(i)})\big|\Big]\\ &={\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}\tau_{i}\big(g(\widetilde{Z}^{(i)})-g(Z^{(i)})\big)\big|\Big]\\ &\leq 2{\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}\tau_{i}g(Z^{(i)})\big|\Big],\end{split}

Иллюстрация · Здесь полностью вычислены конечные учебные распределение и семейство. Это не доказывает неравенства источника для общих семейств. Источник использует скрытые константы в двустороннем сравнении.

Обозначения

$\mathcal{G}$: Семейство функций потерь.
$\widehat{Z}$: Независимые призрачные примеры с тем же распределением, что и обучающие.
$τ_i$: Независимые равномерные случайные знаки.
$ℜ_m$: Сложность Радемахера.

Пример формулы источника

Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.

Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.

Поток данных в этом примере

Начальные значения в коде

pairs = [ [0, 0], [0, 1], [1, 0], [1, 1], ]
signs = [ [-1, -1], [-1, 1], [1, -1], [1, 1], ]

Вычисляется здесь

Выражение результата: { expectedGap, ghostGap, ghostMeanRisk, signedGhostGap, complexity, twiceComplexity: 2 * complexity, lowerExpression: complexity - 1 / Math.sqrt(2), }

expectedGap = average(pairs.map((sample) => Math.abs(0.5 - mean(sample)))) Использует: average, pairs, mean
ghostGap = average( pairs.flatMap((sample) => pairs.map((ghost) => Math.abs(mean(ghost) - mean(sample)))), ) Использует: average, pairs, mean
ghostMeanRisk = average(pairs.map(mean)) Использует: average, pairs, mean
signedGhostGap = average( pairs.flatMap((sample) => pairs.flatMap((ghost) => signs.map((sign) => Math.abs( (sign[0] * (ghost[0] - sample[0]) + sign[1] * (ghost[1] - sample[1])) / 2, ), ), ), ), ) Использует: average, pairs, signs
complexity = average( pairs.flatMap((sample) => signs.map((sign) => Math.abs((sample[0] * sign[0] + sample[1] * sign[1]) / 2)), ), ) Использует: average, pairs, signs

Возвращает

Пример результата

expectedGap: 0,25
ghostGap: 0,375
ghostMeanRisk: 0,5
signedGhostGap: 0,375
complexity: 0,375
twiceComplexity: 0,75
lowerExpression: ≈-0,3321

JavaScript

const pairs = [
  [0, 0],
  [0, 1],
  [1, 0],
  [1, 1],
];
const signs = [
  [-1, -1],
  [-1, 1],
  [1, -1],
  [1, 1],
];
const mean = (values) => (values[0] + values[1]) / 2;
const average = (values) => values.reduce((a, b) => a + b, 0) / values.length;
const expectedGap = average(pairs.map((sample) => Math.abs(0.5 - mean(sample))));
const ghostGap = average(
  pairs.flatMap((sample) => pairs.map((ghost) => Math.abs(mean(ghost) - mean(sample)))),
);
const ghostMeanRisk = average(pairs.map(mean));
const signedGhostGap = average(
  pairs.flatMap((sample) =>
    pairs.flatMap((ghost) =>
      signs.map((sign) =>
        Math.abs(
          (sign[0] * (ghost[0] - sample[0]) + sign[1] * (ghost[1] - sample[1])) / 2,
        ),
      ),
    ),
  ),
);
const complexity = average(
  pairs.flatMap((sample) =>
    signs.map((sign) => Math.abs((sample[0] * sign[0] + sample[1] * sign[1]) / 2)),
  ),
);
return {
  expectedGap,
  ghostGap,
  ghostMeanRisk,
  signedGhostGap,
  complexity,
  twiceComplexity: 2 * complexity,
  lowerExpression: complexity - 1 / Math.sqrt(2),
};

Прочитайте числа из input и верните результат. Основы JavaScript.

Результат

Включите JavaScript, чтобы запустить пример.

Техническая формулировка

Здесь m=2, каждое Z — независимая равновероятная случайная величина Бернулли, а G состоит из нулевой функции и g(z)=z. Симметризация источника сравнивает ожидаемый равномерный разрыв риска, разрыв призрачной выборки и удвоенную сложность Радемахера. Показанное двустороннее соотношение с ожидаемой ошибкой обобщения использует ≲ и потому не задаёт точных констант.

Источник: Симметризация