Обобщающая способность
Качество на обучающих примерах и на новых данных — разные величины.
Уроки
- ReLU и положительное масштабирование
- Минимальный обучающий отступ
- Нейронное касательное ядро
- Суррогатная потеря отступа
- Граница сложности
- Потеря правила предсказания
- Линеаризация сети
- Градиентный поток и ядро
- Экспоненциальная потеря и отступ
- Интерполяция с минимальной нормой ядра
- Семейство сетей с ограниченной нормой
- Пример сжатия Радемахера
- Равенство супремумов
- Послойное отделение ограничений норм
- Пример границы отступа
- Предельная кривая дисперсии
- Эффективная размерность и дисперсия
- Дисперсия при коррелированных координатах
- Сбалансированные соседние слои
- Решение потока с постоянным ядром
- Напечатанное равенство смещения и дисперсии
- Потеря обучения и устойчивый отступ
- Экспоненциальный риск и его градиент
- Проецированный нормированный градиент
- Обратное распространение через два слоя
- Граничный случай напечатанного неравенства отступа
- Псевдообратная матрица для одного примера
- Мера сложности выборки алгоритма
- Тождество производной ReLU
- Предел ширины и пространство ядра