คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ค่าคาดหมายของนอร์มตัวดำเนินการเฮสเซียน

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ทฤษฎีการหาค่าเหมาะสม · ศึกษาการลู่เข้าและรูปทรงของความสูญเสียภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / ทฤษฎีการหาค่าเหมาะสม

ข้อมูลเข้าหรือสมมติฐาน: ฟังก์ชันเป้าหมาย กฎการปรับ และสมมติฐาน
ผลลัพธ์หรือข้อสรุป: ข้อความเกี่ยวกับการลู่เข้าหรือรูปทรง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

อธิบาย: การเรียนรู้และการปรับพารามิเตอร์
อธิบาย: การกำหนดค่าเริ่มต้น

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

คำนวณนอร์มตัวดำเนินการกำลังสองของเฮสเซียนแต่ละตัวและหาเฉลี่ยตามการแจกแจงเริ่มต้นแบบจำกัด

การให้ขอบเขตความโค้งช่วยเหตุผลเรื่องเสถียรภาพเกรเดียนต์เฉพาะบริเวณ

ตัวอย่างสูตรต้นฉบับ

{\mathbbm{E}}\big[\|\nabla^{2}_{\theta}\Phi(x,\Theta)\|_{\mathrm{op}}^{2}\big]\lesssim 1

ภาพประกอบ · การเริ่มต้นสองจุดไม่ใช่การแจกแจงเกาส์ของต้นฉบับ และตัวอย่างนี้ไม่ได้พิสูจน์ค่าประมาณเฮสเซียนของต้นฉบับ

สัญลักษณ์

$∇²θΦ$: เฮสเซียนของผลลัพธ์โครงข่ายตามพารามิเตอร์
$\Vert ·\Vert op$: ค่าซิงกูลาร์สูงสุดของเฮสเซียน
$𝔼$: ค่าคาดหมายตามการเริ่มต้น
$≲$: อสมการถึงค่าคงที่

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ข้อมูลเข้า

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.x = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { operatorNorm, squares, expectation: (squares[0] + squares[1]) / 2, chosenConstant: 11, }

squaredX = input.x ** 2 ใช้: input.x
operatorNorm = (1 + Math.sqrt(5)) * squaredX ใช้: squaredX
squares = [operatorNorm ** 2, operatorNorm ** 2] ใช้: operatorNorm

ส่งกลับ

ผลลัพธ์ตัวอย่าง

squares: อาร์เรย์ (2 รายการ): [≈10.47, ≈10.47]
expectation: ≈10.47
chosenConstant: 11
operatorNorm: ≈3.236

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ใช้ Φ = a(wx)² โดย w = 1 และ a เป็น ±1 ด้วยโอกาสเท่ากัน เฮสเซียนแต่ละตัวคือ x²[[0,2],[2,2a]] ซึ่งมีนอร์มตัวดำเนินการ (1+√5)x² ค่าคาดหมายจำกัดนี้แน่นอน เมื่อ |x| ≤ 1 ค่าคงที่สมมติ 11 ที่เลือกเป็นขอบเขต ไม่ใช่ค่าคงที่ในต้นฉบับ สำหรับสัญกรณ์จุดหลังรบกวนในต้นฉบับ ตัวอย่างใช้การเคลื่อนเป็นศูนย์

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ