Ненулевая активация
Проект с пингвинами
Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV
Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.
Правила предсказания и слои · Описывают или применяют правила предсказания, слои и параметры.
Проект использует линейное правило с двумя признаками. Обученные веса дают оценки или нормированную массу.
Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.
Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].
Используется в разделах источника: 1.2.2 Может ли сеть представить нужную функцию?
ϱ ≠ 0 означает, что активация не тождественно равна нулю: она имеет ненулевое значение хотя бы для одного входа.
Тогда можно выбрать постоянный нейрон с ненулевым выходом.
Пример формулы источника
Иллюстрация · ReLU даёт один пример; общая ненулевая активация может иметь другие значения.
Обозначения
- Функция активации.
Пример формулы источника
Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.
Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.
Поток данных в этом примере
Код изменён. Сбросьте его, чтобы вернуть схему примера.
Начальные значения в коде
x=1
Вычисляется здесь
Выражение результата: { x, value: rho(x), nonzero: rho(x) !== 0 }
Возвращает
x- 1
value- 1
nonzero- истина
Прочитайте числа из input и верните результат. Основы JavaScript.
Результат
Техническая формулировка
Числовые значения вымышлены. ReLU даёт один пример; общая ненулевая активация может иметь другие значения.
Источник: Обозначение в тексте