คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ความหนาแน่นของการเริ่มต้นแบบเกาส์

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การกำหนดค่าเริ่มต้น · อธิบายพารามิเตอร์เริ่มต้นและการแจกแจง

ฟังก์ชันเป้าหมายให้เกรเดียนต์เพื่อปรับพารามิเตอร์

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

ต้นฉบับเริ่มพารามิเตอร์แต่ละตัวอย่างอิสระด้วยการแจกแจงเกาส์ที่มีค่าเฉลี่ยศูนย์และความแปรปรวน 1/n

การแจกแจงอธิบายน้ำหนักเริ่มต้นสุ่มสำหรับการวิเคราะห์การฝึก

ตัวอย่างสูตรต้นฉบับ

\Theta^{(1)}_{j}\sim{\mathcal{N}}(0,1/n)^{d+1}

ภาพประกอบ · นี่เป็นการคำนวณความหนาแน่น ไม่ใช่การสุ่มค่าหรือข้อพิสูจน์การลู่เข้า

สัญลักษณ์

$Θ⁽¹⁾ⱼ$: น้ำหนักขาเข้าและไบแอสของหน่วยซ่อน j เป็นเวกเตอร์ใน ℝᵈ⁺¹
$Θ⁽²⁾ⱼ$: น้ำหนักผลลัพธ์สเกลาร์ของหน่วยซ่อน j
$N(0,1/n)$: การแจกแจงปกติที่มีค่าเฉลี่ยศูนย์และความแปรปรวน 1/n
$n$: จำนวนหน่วยซ่อนบวก

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

จำนวนหน่วยซ่อน

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.n = 4

ค่าเริ่มต้นในโค้ด

coordinates = [0, 0, 0]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { variance, coordinates, oneCoordinateDensity: densityAtZero, jointDensity: densityAtZero ** coordinates.length, }

n = input.n ใช้: input.n
variance = 1 / n ใช้: n
densityAtZero = 1 / Math.sqrt(2 * Math.PI * variance) ใช้: variance

ส่งกลับ

ผลลัพธ์ตัวอย่าง

variance: 0.25
coordinates: อาร์เรย์ (3 รายการ): [0, 0, 0]
oneCoordinateDensity: ≈0.7979
jointDensity: ≈0.5079

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

เมื่อ d = 1 พิกัดสามตัวแทนสมาชิกขาเข้าสองตัวและน้ำหนักผลลัพธ์หนึ่งตัวที่ศูนย์ ความหนาแน่นร่วมเป็นผลคูณเพราะพิกัดเริ่มต้นเป็นอิสระ ความหนาแน่นไม่ใช่ความน่าจะเป็นที่จุดเดียว

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ