Гауссова инициализация весов и смещений
Проект с пингвинами
Проект использует 342 записи Palmer с нужными измерениями: 240 для обучения, 102 для проверки. Выбранные примеры для обучения определяют масштабирование и параметры модели. Исходный CSV
Этот проект обучает веса с помощью softmax, в отличие от лаборатории на главной странице, где используются ближайшие средние по видам. Те же измерения пингвинов, но разные методы классификации. Предсказания могут различаться.
Инициализация · Описывает начальные параметры и их распределения.
Текущая целевая функция даёт градиент для обновления параметров.
Рассмотрите понятие рядом с проектом: предположения источника могут отличаться. Эти наблюдения не доказывают теорему.
Вход: 12 × 2; Проверка на новых данных: 102 · #58 · 40.6 мм, 193 мм. Известный ответ: Адели; Прогноз: Адели · [≈0,7383; ≈0,2444; ≈0,01737].
Используется в разделах источника: 2.1 Взгляд через сходство
Для слоя ℓ начальные веса имеют среднее ноль и дисперсию σw²/Nℓ; смещения имеют среднее ноль и дисперсию σb².
Эти значения задают нормальные законы инициализации.
Пример формулы источника
Иллюстрация · Здесь задаются моменты нормальных законов источника; значения не генерируются и сходимость не устанавливается.
Обозначения
- Индекс слоя.
- Ширина слоя.
- Положительные масштабы инициализации.
Пример формулы источника
Этот пример использует свои входные данные и предположения. Его изменение не меняет проект.
Измените значение или код и запустите пример. Это конечная иллюстрация, а не доказательство теоремы.
Поток данных в этом примере
Код изменён. Сбросьте его, чтобы вернуть схему примера.
Начальные значения в коде
layer=1width=4sigmaW=2sigmaB=1
Вычисляется здесь
Выражение результата: {
layer,
width,
weightMean: 0,
weightVariance: (sigmaW * sigmaW) / width,
biasMean: 0,
biasVariance: sigmaB * sigmaB,
}
Возвращает
layer- 1
width- 4
weightMean- 0
weightVariance- 1
biasMean- 0
biasVariance- 1
Прочитайте числа из input и верните результат. Основы JavaScript.
Результат
Техническая формулировка
Числовые значения вымышлены. Здесь задаются моменты нормальных законов источника; значения не генерируются и сходимость не устанавливается.
Источник: Обозначение в тексте