Оптимизация
Форма целевой функции влияет на движение алгоритмов обучения.
Уроки
- Квадратичная обучающая цель
- Неглубокая сеть
- Фиксированные признаки
- Повторяющиеся признаки и интерполяция
- Признаки, матрица Грама и градиент
- Оценка наименьшего собственного значения
- Изменение градиента и кривизна
- Геометрическое уменьшение потери
- Замена неиспользуемых скрытых весов
- Градиент по выходным весам и ядро
- Признак как производная по выходному весу
- Изменение признака после движения параметров
- Дублированные скрытые признаки
- Блоки вторых производных
- Риск вдоль интерполяции весов
- Два соединённых пути параметров
- Плотность гауссовой инициализации
- Вблизи инициализации
- Выражение вероятности
- Предел, лежащий в основе сходимости
- Ожидаемая матрица Грама признаков
- Ожидаемая операторная норма гессиана
- Сравнение с верхней оценкой градиента
- Параметры вдоль построения пути с малой потерей
- Ошибка приближения признака
- Временной масштаб и ширина обучения
- Сфера параметров спинового стекла
- Обучение начинается с инициализации
- Ожидаемый риск параметров сети