Библиотека понятий
Дополнительные объяснения и исполняемые примеры JavaScript для 506 понятий. Знать программирование для чтения книги не обязательно.
Как связаны понятия
Один проект с пингвинами связывает этапы обучения; инструменты и теория образуют ветви.
Ход обучения
Собрать примеры Подготовить входы Получить предсказания Оценить ошибки Изменить правило
Известные ответы также поступают в целевую функцию. Обновлённые параметры возвращаются к правилу. Оценка применяет то же выбранное правило к отдельным новым данным. Проверить новые примеры
Инструменты, теория и применения
Математические инструменты · Понять ограничения · Применить в науке
Собрать примеры
Записывают входы и известные ответы или описывают выборку примеров.
- Передаёт в: Подготовить входы
- Передаёт в: Получить предсказания
- Передаёт в: Оценить ошибки
Подготовить входы
Описывают преобразование входных данных в признаки или представления сигналов.
- Передаёт в: Получить предсказания
Признаки · Фреймы и разреженные сигналы · Преобразования сигналов
Получить предсказания
Описывают правила и параметры, которые дают результаты.
- Передаёт в: Оценить ошибки
- Передаёт в: Проверить новые примеры
Правила предсказания и слои · Свёртка · Нормализация пакета · Рекуррентные обновления · Остаточные сети · Прореживание
Оценить ошибки
Задают потери и критерии для сравнения правил.
- Передаёт в: Изменить правило
Изменить правило
Выбирают правило или обновляют его параметры.
- Передаёт в: Получить предсказания
Проверить новые примеры
Оценивают предсказания по примерам или закону распределения.
Математические инструменты
Используют математические операции и обозначения.
- Поддерживает: Получить предсказания
- Поддерживает: Изменить правило
- Поддерживает: Оценить ошибки
Множества и обозначения · Векторы и матрицы · Нормы и расстояния · Вероятность и ожидание · Функции и производные
Понять ограничения
Изучают утверждения, предположения и границы.
- Объясняет: Получить предсказания
- Объясняет: Изменить правило
- Объясняет: Проверить новые примеры
Обобщение и границы риска · Приближение и глубина · Теория оптимизации · Ядра и линеаризация · Предположения и обозначения источника · Классы моделей и структура · Локальная структура
Применить в науке
Описывают научные задачи и математические модели.
- Поддерживает: Получить предсказания
- Поддерживает: Оценить ошибки
Обратные задачи · Уравнения и случайные процессы · Квантовые модели
Выбор по вопросу или применению
Наблюдения и выборки
Описывают примеры, цели и выборки.
- Входы или предположения
- Наблюдения или закон выборки
- Результаты или выводы
- Примеры, метки или выборки
- Обучающие выборки
- Двоичные метки
- Входы, цели и данные
- Выборка примеров
- Независимая случайная выборка
- Индексы обучающих входов
- Выборки векторных данных
- Случайная пара входа и цели
- Пакет векторов
- Зашумлённые наблюдения
- Пары случайной выборки
- Обучающая и независимая тестовая выборки
- Один обучающий пример
- Выборка с распределением-произведением
- Признаки и цели из преобразования
- Проекции входов и целей
- Одна добавленная входная координата
- Линейная регрессия с шумом
- Выборка из двух точек источника
- Зашумлённая целевая функция
- Различные входные точки
- Ограниченные значения цели
Признаки
Преобразуют входы в признаки для правила.
- Входы или предположения
- Входы и отображение признаков
- Результаты или выводы
- Значения признаков
Поступает из
Используется в
- Вектор полиномиальных признаков
- Пороговый признак
- Пороговый признак из выборки
- Фиксированные признаки
- Признак как производная по выходному весу
- Несколько каналов сигнала
- Параметры оператора признаков
- Отображение входов в базисные векторы
- Смещение как дополнительная координата
- Скрытые признаки и интерполяция
- Направления на рисунке источника
- Дублированные скрытые признаки
- Масштабированный признак прореживания
- Параметры случайных признаков
Фреймы и разреженные сигналы
Кодируют или восстанавливают сигналы с помощью фреймов и словарей.
- Входы или предположения
- Сигналы, фреймы или словари
- Результаты или выводы
- Коэффициенты или восстановленные сигналы
Связанные группы
- Поддерживает: Признаки
- Операция циклического окна
- След матрицы Ганкеля и восстановление
- Кодировщик и декодер фрейма
- Матричное тождество двойственных фреймов
- Диагональные коэффициенты кодировщика
- Восстановление циклическим фреймом
- Окно и циклическая корреляция
- Подсчёт ненулевых элементов
- Представление через словарь
- Пороговая обработка коэффициентов
- Свёрточный словарь
- Локальная разреженность
- Разреженная иерархия
- Композиция пороговых отображений
- Проекция на словарь
- Приближение коэффициентов после пороговой обработки
- Размеры фреймов
- Векторы фреймов
- Свёртка и взаимная корреляция
- Матрица окон низкого ранга
- Проверка напечатанного порогового условия
- Окно многоканального сигнала
- Локальный носитель ядра
- Короткий фильтр и сигнал
Преобразования сигналов
Изучают преобразования сигналов, рассеяние и их свойства.
- Входы или предположения
- Сигналы, преобразования и предположения
- Результаты или выводы
- Преобразованные сигналы или утверждения о них
Связанные группы
- Поддерживает: Признаки
Правила предсказания и слои
Описывают или применяют правила предсказания, слои и параметры.
- Входы или предположения
- Входы, параметры и правило
- Результаты или выводы
- Предсказания, значения слоёв или описания модели
Используется в
- Линейное правило предсказания
- Аффинный слой
- Линейная активация
- Функции активации
- Параметры сети
- Формы весов и смещений слоя
- Активация ReLU
- Классификатор по знаку
- Сеть ReLU с двумя нейронами
- Полносвязная сеть
- Функции активации
- Сеть на рисунке источника
- Неглубокая сеть
- Параметры нейронов первого слоя
- Нулевой выходной вес
- Нулевые смещения скрытого слоя
- Вход остаточной сети
- Сеть при выбранных параметрах
- Композиция палаточной функции
- Размерность входа сети
- Гладкие функции активации
- Значение нейрона до активации
- Отображение параметров при фиксированном входе
- Конкретные ширины слоёв
- Один слой сети
- Вектор параметров из шести элементов
- Равенство многочлена и активации
- Ненулевая активация
- Набор параметров сети
- Классификаторы по знаку
- Обученная модель
- Оптимальная двоичная метка
- Суррогатные оценки и классификаторы
- Линеаризация сети
- Композиция слоёв ReLU
- Интерполяция повторными функциями шатра
- Неглубокая сеть ReLU
- Сумма гребневых функций
- Где нейрон переключается
- Траектория двумерной сети
- Замена неиспользуемых скрытых весов
- Двухслойная сеть ReLU
- ReLU может передавать сдвинутый вход
- Условное математическое ожидание
- Байесовский оптимальный предсказатель
Свёртка
Описывает общие фильтры и прореживание.
- Входы или предположения
- Сигналы, фильтры и настройки сетки
- Результаты или выводы
- Преобразованные сигналы или описания слоёв
Связанные группы
- Поддерживает: Правила предсказания и слои
Нормализация пакета
Описывает нормализацию пакета и её производные.
- Входы или предположения
- Значения пакета и параметры нормализации
- Результаты или выводы
- Нормализованные значения или соотношения производных
Связанные группы
- Поддерживает: Правила предсказания и слои
Рекуррентные обновления
Обновляют состояние при последовательном поступлении входов.
- Входы или предположения
- Предыдущее состояние и следующий вход
- Результаты или выводы
- Следующее состояние
Связанные группы
- Поддерживает: Правила предсказания и слои
Остаточные сети
Описывают остаточные обновления слоёв и их непрерывный аналог.
- Входы или предположения
- Состояния слоёв, параметры или предположения об эволюции
- Результаты или выводы
- Состояния слоёв или соотношения эволюции
Связанные группы
- Поддерживает: Правила предсказания и слои
Прореживание
Описывает удаление весов сети и связанные границы ошибки.
- Входы или предположения
- Сеть, выбор весов или предположения для оценки
- Результаты или выводы
- Прореженная сеть или граница ошибки
Связанные группы
- Поддерживает: Правила предсказания и слои
Потери для примера
Определяют значение потери для наблюдаемого примера.
- Входы или предположения
- Предсказание или плотность и наблюдаемый ответ или пример
- Результаты или выводы
- Значение потери
Поступает из
Используется в
- Потери двоичной классификации
- Экспоненциальная функция потерь
- Потеря неожиданности
- Квадратичная потеря
- Логистическая суррогатная потеря
- Потери для оценки плотности
- Суррогатная потеря отступа
- Потеря правила предсказания
- Пара для потерь при обучении с учителем
- Потери двоичной классификации
- Предсказание и метка в логистической потере
- Ограниченная квадратичная потеря
- Предсказание линейного классификатора
Целевые функции
Объединяют потери и штрафы в критерий для параметров или правил.
- Входы или предположения
- Потери, параметры и настройки критерия
- Результаты или выводы
- Числовое значение критерия
Поступает из
Используется в
Обучение и обновление параметров
Выбирают правило или обновляют параметры с помощью правила обучения.
- Входы или предположения
- Обучающие примеры или целевая функция и правило обучения или обновления
- Результаты или выводы
- Выбранные правила предсказания или обновлённые параметры
Поступает из
Используется в
- Итерации оптимизации
- Направления градиентного обновления
- Постоянное расписание шага
- Шаг градиентного спуска
- Шаг градиента по мини-батчу
- Минимизация эмпирического риска
- Минимум регуляризованной целевой функции
- Несмещённое стохастическое обновление
- Усреднение итераций оптимизации
- Эмпирические минимизаторы
- Размер мини-пакета
- Число мини-пакетов за эпоху
- Направления градиента по шагам
- Обучение как отображение
- Обучение начинается с инициализации
- Правило, обученное на случайных данных
Инициализация
Описывает начальные параметры и их распределения.
- Входы или предположения
- Архитектура и настройки инициализации
- Результаты или выводы
- Начальные значения или описания их распределения
Используется в
Риск и оценка
Различают потери на выборке и ожидаемые потери.
- Входы или предположения
- Предсказания или правило и примеры для оценки или вероятности
- Результаты или выводы
- Риск, потери на выборке или отступы классификации
- Риск генеральной совокупности
- Риск классификации
- Риск генеральной совокупности после обучения
- Риск на отдельной тестовой выборке
- Ожидаемый риск параметров сети
- Отступ классификации
- Байесовский риск на конечном пространстве
- Точное совпадение на всех обучающих точках
- Минимальный обучающий отступ
- Потеря обучения и устойчивый отступ
- Разные выборки и риски
Множества и обозначения
Описывают области, индексы и принадлежность.
- Входы или предположения
- Множества и символы
- Результаты или выводы
- Принадлежность и отношения индексов
Связанные группы
- Поддерживает: Классы моделей и структура
- Поддерживает: Наблюдения и выборки
- Числовые множества
- Индексы от 1 до N
- Принадлежность множеству
- Подмножества
- Действительные векторы
- Действительные числа
- Положительные целые числа
- Диапазоны индексов
- Положительные действительные значения
- Единичный интервал
- Неотрицательные действительные значения
- Диапазон p
- Различные индексы
- Несколько положительных размерностей
- Две индексные переменные
- Замкнутые интервалы
- Индексы в конечном диапазоне
- Индикаторные функции
- Дельта Кронекера
- Индексы вне начального диапазона
- Единичный шар в евклидовом пространстве
- Области векторов и скаляров
- Пространство двоичных векторов
- Произведение пространств векторов и скаляров
- Объединение диапазонов индексов
- Нижняя граница k
- Размерности и количества
- Шары и объём в одном измерении
- Группы входной и выходной сеток
- Отображение индексов между сетками
- Представители циклических индексов
Векторы и матрицы
Описывают операции над векторами и матрицами.
- Входы или предположения
- Числа, векторы или матрицы
- Результаты или выводы
- Вычисленные векторы или скаляры
Связанные группы
- Поддерживает: Правила предсказания и слои
- Поддерживает: Целевые функции
- Поддерживает: Обучение и обновление параметров
- Числа и массивы
- Сумма и среднее
- Скалярное произведение
- Умножение матрицы на вектор
- Единичная матрица
- Размерность матрицы
- Внешнее произведение и транспонирование
- Формы матриц
- Вектор из единиц
- Координатный базисный вектор
- Значения с индексами из множества
- Псевдообратная матрица
- Среднее выборки
- Натуральный логарифм
- Единичные векторы
- Эмпирическая матрица признаков
- Матрица вращения
- Псевдообратная матрица для одного примера
- Произведение ширин скрытых слоёв
- Размер сетки
- Предел, лежащий в основе сходимости
- Матрица, близкая к единичной
Нормы и расстояния
Измеряют размер или различие в заданном пространстве.
- Входы или предположения
- Векторы, функции или метрика
- Результаты или выводы
- Норма или расстояние
Связанные группы
- Поддерживает: Целевые функции
- Поддерживает: Приближение и глубина
- Длина вектора
- p-норма вектора
- Норма Фробениуса
- Расстояние и шары
- Операторная норма матрицы
- Норма Lp функции
- Бесконечная норма функции
- Нормы функций с мерой
- Расстояние на выборке
- 1-норма выходных весов
- Взвешенная ошибка функции
- Пример конечномерного гильбертова пространства
- Сравнение норм признака
- Сфера параметров спинового стекла
Вероятность и ожидание
Описывают случайные величины и их средние по закону распределения.
- Входы или предположения
- Закон распределения и случайные величины
- Результаты или выводы
- Вероятности, ожидания или дисперсия
Связанные группы
- Поддерживает: Наблюдения и выборки
- Поддерживает: Риск и оценка
- Поддерживает: Обобщение и границы риска
- Случайные величины и их законы
- Математическое ожидание и дисперсия
- Конечная мера и L2
- Равномерный случайный знак
- Единичный второй момент шума
- Функция, заданная математическим ожиданием
- Ожидание порогового признака
- Знаковые меры
- Вероятностная мера случайных признаков
- Шум в полиномиальном примере
- Равномерный вход в полиномиальном примере
- Равные случайные координаты
- Выражение вероятности
- Оценка плотности вероятности
- Априорное распределение на множестве гипотез
Функции и производные
Описывают отображения и изменение их значений.
- Входы или предположения
- Функция и её аргументы
- Результаты или выводы
- Значения или производные
Связанные группы
- Поддерживает: Правила предсказания и слои
- Поддерживает: Обучение и обновление параметров
- Функции и области определения
- Неотрицательные функции
- Тождественная функция
- Координата векторнозначной функции
- Степенная функция
- Непрерывные функции
- Изменение результата
- Градиенты по параметрам
- Обратное распространение через два слоя
- Производная произведения
- Произведение по слоям
- Пространство измеримых функций
- Пространства Соболева
- Гладкие функции
- Функция Липшица
- Недифференцируемость ReLU
- Пример функции Соболева
- Пределы сигмоиды
- Комплексная фаза Фурье
- Интеграл индикатора интервала
- Масштабированная сигмоида стремится к ступени
- ReLU и положительное масштабирование
- Тождество производной ReLU
- Функция на единичном интервале
- Функция шатра ReLU
- Радиальная функция
- Гиперплоскость
- Функция на подмножестве
- Гладкие локальные функции
- Носитель локального веса
- Оценка частоты Фурье
- Изменение градиента и кривизна
- Блоки вторых производных
- Убывающие и растущие произведения
- Ненулевая производная активации
- Кривые входа сети
Обобщение и границы риска
Связывают поведение на выборке с риском на распределении при заданных предположениях.
- Входы или предположения
- Класс функций, предположения о выборке и параметры границы
- Результаты или выводы
- Сравнения риска или границы
Связанные группы
- Объясняет: Риск и оценка
- Объясняет: Целевые функции
- Взвешенная граница обобщения
- Сложность Радемахера на конечном примере
- Рост на конечном пространстве входов
- Размерность VC на двух входах
- Множитель VC-границы сети
- Множитель VC-границы обобщения
- Покрытие конечного семейства функций
- Три масштаба обобщения
- Конечный пример симметризации
- Энтропийный интеграл
- Граница сложности
- Пример границы отступа
- Числа покрытия
- Класс функций потерь
- Разложение риска регрессии
- Разложение риска классификации
- Сравнение без бесплатного обеда
- Риск приближения и расстояние функций
- Покрытие классификаторов и их потерь
- Разложение избыточного риска
- Пример сжатия Радемахера
- Послойное отделение ограничений норм
- Предельная кривая дисперсии
- Эффективная размерность и дисперсия
- Дисперсия при коррелированных координатах
- Напечатанное равенство смещения и дисперсии
- Граничный случай напечатанного неравенства отступа
- Мера сложности выборки алгоритма
- Отношение ранга к размеру выборки
- Отношение размерности к размеру выборки
- Ограниченные потери
Приближение и глубина
Изучают ошибку приближения и размер сети при заданных условиях.
- Входы или предположения
- Целевые функции, классы сетей и предположения
- Результаты или выводы
- Утверждения или границы приближения
Связанные группы
- Объясняет: Классы моделей и структура
- Объясняет: Правила предсказания и слои
- Граница приближения Соболева
- Равномерное приближение на компакте
- Условие универсального приближения
- Размер для приближения гладких функций
- Утверждение о разделении по глубине
- Условие глубины и ширины
- Ошибка приближения Соболева
- Масштабы размера приближения
- Оценка приближения Баррона
- Оценка ошибки выборки
- Целевая и приближающая функции
- Масштабирование числа для приближения
- Зависящие от размерности множители приближения
- Условия размеров для разделения по глубине
- Множители числа параметров при интерполяции
- Ненулевой линейный функционал
- Проверка условия интеграла
- Вторая разделённая разность
- Функционал знаковой меры и проверка Фурье
- Взвешенные ошибки и ошибки Фурье
- Свёртка и носитель
- Длина траектории признака
- Ожидаемая длина кривой признака
- Плотность из энергии Фурье
- Преобразование Фурье гребневой функции
- Граница числа областей гиперплоскостей
- Проверка условий размера
- Условие нормы Соболева
- Объединение локальных описаний
- Представление Фурье и веса выборки
- Проблема напечатанного представления
- Приближение случайной величины по шагам
- Ошибка приближения признака
- Неравенство конечного приближения
- Радиальная целевая функция
- Радиальные направления и показатель степени
- Квадратный корень плотности
- Пространство непрерывных функций и сопряжённое пространство
- Точность приближения
- Малая положительная ошибка
- Компактная область обучения
- Обратный множитель квадратного корня
- Масштаб размера при высокой размерности
Теория оптимизации
Изучает сходимость и геометрию потерь при заданных предположениях.
- Входы или предположения
- Целевая функция, правило обновления и предположения
- Результаты или выводы
- Утверждения о сходимости или геометрии
Связанные группы
- Объясняет: Обучение и обновление параметров
- Объясняет: Инициализация
- Граница сходимости SGD
- Невыпуклая цель обучения
- Оценка наименьшего собственного значения
- Геометрическое уменьшение потери
- Сравнение с верхней оценкой градиента
- Ограниченное направление обновления
- Разделяющий параметр
- Радиус устойчивости параметров
- Сглаженный отступ
- Растущие нормы параметров
- Экспоненциальная потеря и отступ
- Равенство супремумов
- Сбалансированные соседние слои
- Экспоненциальный риск и его градиент
- Проецированный нормированный градиент
- Повторяющиеся признаки и интерполяция
- Градиент по выходным весам и ядро
- Изменение признака после движения параметров
- Риск вдоль интерполяции весов
- Два соединённых пути параметров
- Вблизи инициализации
- Ожидаемая операторная норма гессиана
- Параметры вдоль построения пути с малой потерей
- Временной масштаб и ширина обучения
Ядра и линеаризация
Связывают градиенты параметров или признаки с матрицами ядер.
- Входы или предположения
- Признаки или градиенты параметров
- Результаты или выводы
- Значения ядра или соотношения матриц
Связанные группы
- Поддерживает: Теория оптимизации
Предположения и обозначения источника
Объясняют символы и предположения в утверждении источника.
- Входы или предположения
- Символы и предположения утверждения
- Результаты или выводы
- Толкование утверждения, не данные модели
- Сравнение с точностью до константы
- Пары положительных констант
- Конечный диапазон с фиксированной границей
- Разность множеств индексов
- Отметки оси на рисунке
- Размеры выборок на рисунках источника
- Положительные параметры масштаба
- Индекс кривизны и потери
- Положительные константы теоремы
- Нулевой целевой параметр
- Множители числа аффинных областей
- Свойства активации в теореме
- Оценка первого значения последовательности
- Отмеченное тождество риска
- Неопределённый символ в источнике
Классы моделей и структура
Описывают семейства правил, их размер и структурные свойства.
- Входы или предположения
- Семейство правил и структурные предположения
- Результаты или выводы
- Описания классов, количества или утверждения о структуре
- Множества гипотез
- Правило обучения
- Архитектура сети
- Допустимые векторы параметров
- Ширина сети
- Супремум конечного множества
- Веса выпуклой комбинации
- Компактное множество параметров
- Размеры скрытых слоёв
- Класс сетевых гипотез
- Граница множества параметров
- Мощность конечного класса функций
- Произведение параметров и глубины
- Параметры и примеры
- Подсчёт параметров сети
- Семейство гипотез сети
- Объединение по ширинам сети
- Конечная задача обучения
- Конечное семейство оценок и меток
- Семейство сетей с ограниченной нормой
- Напечатанное масштабирование инициализации
- Размеры изображения
- Размеры большого изображения
- Значения на схеме сети
- Ширины, использованные на рисунке
- Условие глубины сети
- Архитектуры на рисунке траекторий
- Степени многочленов
- Индексы слоёв и глубина
- Число параметров сети в источнике
- Одномерный вход
Локальная структура
Описывает карты, локальные координаты и локализацию.
- Входы или предположения
- Область, карты и предположения
- Результаты или выводы
- Локальные описания или структурные утверждения
Связанные группы
- Поддерживает: Приближение и глубина
Обратные задачи
Описывают восстановление по наблюдениям с прямым оператором.
- Входы или предположения
- Наблюдения, прямой оператор и кандидат
- Результаты или выводы
- Восстановление или критерий расхождения
Связанные группы
- Поддерживает: Целевые функции
- Поддерживает: Правила предсказания и слои
Уравнения и случайные процессы
Описывают дифференциальные уравнения и случайные представления.
- Входы или предположения
- Уравнения, начальные данные и предположения о процессе
- Результаты или выводы
- Решения, выборки или математические соотношения
Связанные группы
- Поддерживает: Приближение и глубина
- Случайное итерационное приближение
- Выборка в представлении уравнения в частных производных
- Одномерный пример уравнения в частных производных
- Детерминированный процесс в представлении уравнения
- Случайный вход для примера уравнения
- Коэффициенты сноса и диффузии
- Траектория случайного процесса
- Начальные данные для уравнения в частных производных
- Положение и время
- Решение уравнения в частных производных и начальное условие
- Методы конечных элементов hp
Квантовые модели
Описывают волновые функции, координаты частиц и соотношения энергии.
- Входы или предположения
- Конфигурации частиц, волновые функции и операторы
- Результаты или выводы
- Признаки, энергии или математические соотношения
Связанные группы
- Поддерживает: Правила предсказания и слои
- Уравнение на собственное значение
- Потенциальные слагаемые гамильтониана
- Уравнение на собственное значение
- Перестановка частиц
- Конечное отношение Рэлея и локальная энергия
- Определители спиновых блоков
- Признаки, эквивариантные перестановке
- Встраивания на основе расстояний
- Определители с обучаемыми множителями
- Встраивание в сеть признаков
- Произведение орбиталей
- Координаты частиц и ядер
- Вход и выход волновой функции
- Отдельные встраивания спиновых групп
- Волновая функция и плотность
- Координаты электронов
- Атомные номера
- Волновые функции положительного спина
Формулы из статьи · Словарь обозначений · Основы JavaScript
Независимое учебное объяснение статьи Современная математика глубокого обучения — Юлиус Бернер, Филипп Грос, Гитта Кутиниок, Филипп Петерсен. В примерах используются вымышленные числа, если не указан источник измеренных данных.