Недифференцируемость ReLU
Проект с пингвинами
Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV
Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.
Функции и производные · Описывают отображения и изменение их значений.
Векторы проекта имеют два признака; обучающая матрица содержит n строк и два столбца. Инструменты применимы, когда выполнены их предположения.
Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.
Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].
Используется в разделах источника: 3.3 Другие способы измерить выразительность
H — множество, где реализация сети ReLU недифференцируема.
После удаления H остаются области, в которых сеть ReLU аффинна.
Пример формулы источника
Иллюстрация · Для этой сети с одним нейроном ReLU H = {0}; у общей сети множество может быть сложнее.
Обозначения
- Множество недифференцируемости реализации сети.
Пример формулы источника
Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.
Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.
Поток данных в этом примере
Код изменён. Сбросьте его, чтобы вернуть схему примера.
Начальные значения в коде
x=0
Вычисляется здесь
Выражение результата: { x, value: relu(x), leftSlope: 0, rightSlope: 1 }
Возвращает
x- 0
value- 0
leftSlope- 0
rightSlope- 1
Прочитайте числа из input и верните результат. Основы JavaScript.
Результат
Техническая формулировка
Числовые значения вымышлены. Для этой сети с одним нейроном ReLU H = {0}; у общей сети множество может быть сложнее.
Источник: Обозначение в тексте