Ненулевая производная активации
Проект с пингвинами
Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV
Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.
Функции и производные · Описывают отображения и изменение их значений.
Векторы проекта имеют два признака; обучающая матрица содержит n строк и два столбца. Инструменты применимы, когда выполнены их предположения.
Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.
Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].
Используется в разделах источника: 6.2 Остаточные связи между слоями
Некоторые функции активации имеют вход, на котором их производная ненулевая.
Этот пример делает обозначение или условие источника конкретным.
Пример формулы источника
Иллюстрация · Одно значение сигмоиды не устанавливает условие для всех активаций.
Обозначения
- Функция активации.
- Действительный вход.
- Производная при λ.
Пример формулы источника
Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.
Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.
Поток данных в этом примере
Код изменён. Сбросьте его, чтобы вернуть схему примера.
Вы выбираете
input.lambda= 0
Вычисляется здесь
Выражение результата: { activation, derivative, nonzero: derivative !== 0 }
lambda=input.lambdaИспользует:input.lambdaactivation=1 / (1 + Math.exp(-lambda))Использует:lambdaderivative=activation * (1 - activation)Использует:activation
Возвращает
activation- 0,5
derivative- 0,25
nonzero- истина
Прочитайте числа из input и верните результат. Основы JavaScript.
Результат
Техническая формулировка
Сигмоидальная активация дифференцируема, а при λ=0 её производная равна 1/4. Источник обсуждает условие ненулевой производной при объяснении локального поведения слоёв.
Источник: Выражение из статьи