คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

การเปลี่ยนเกรเดียนต์และความโค้ง

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ฟังก์ชันและอนุพันธ์ · อธิบายการจับคู่และการเปลี่ยนแปลงของผลลัพธ์

เวกเตอร์โครงการมีสองคุณลักษณะ เมทริกซ์ฝึกมี n แถวและสองคอลัมน์ ใช้เครื่องมือเมื่อสมมติฐานตรงกัน

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เครื่องมือคณิตศาสตร์ / ฟังก์ชันและอนุพันธ์

ข้อมูลเข้าหรือสมมติฐาน: ฟังก์ชันและอาร์กิวเมนต์
ผลลัพธ์หรือข้อสรุป: ค่าหรืออนุพันธ์

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: กฎทำนายและชั้นของเครือข่าย
สนับสนุน: การเรียนรู้และการปรับพารามิเตอร์

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

เฮสเซียนอธิบายว่าเกรเดียนต์เปลี่ยนอย่างไร สำหรับฟังก์ชันกำลังสองนี้ เกรเดียนต์เปลี่ยนเท่ากับเฮสเซียนคูณการเคลื่อนของพารามิเตอร์

ปริมาณเหล่านี้เชื่อมพารามิเตอร์ของโครงข่ายกับความสูญเสียและการหาค่าเหมาะที่สุด

ตัวอย่างสูตรต้นฉบับ

\left\|\nabla_{\theta}\Phi(x,\Theta)-\nabla_{\theta}\Phi(x,\Theta+\bar{\theta})\right\|_{2}^{2}\lesssim\sup_{\hat{\theta}\in B_{1}(0)}\big\|\nabla^{2}_{\theta}\Phi(x,\Theta+\hat{\theta})\big\|_{\mathrm{op}}^{2},

ภาพประกอบ · ข้อมูลเข้าสมมติจำนวนจำกัดแสดงนิพจน์นี้ ไม่ได้พิสูจน์เอกลักษณ์ ขอบเขต หรือข้ออ้างการมีอยู่ทั่วไป

สัญลักษณ์

$Θ$: เวกเตอร์พารามิเตอร์โครงข่าย ณ การเริ่มต้น
$θ̄$: การเคลื่อนของพารามิเตอร์ในลูกบอลหนึ่งหน่วย
$∇²θΦ$: เฮสเซียนตามพารามิเตอร์โครงข่าย
$\Vert ·\Vert op$: นอร์มตัวดำเนินการของเมทริกซ์
$sup$: ขอบเขตบนน้อยที่สุดบนลูกบอลหนึ่งหน่วยทั้งหมด ไม่ใช่ค่าสูงสุดจากตัวอย่าง

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

การเคลื่อน

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.displacement = 0.5

คำนวณที่นี่

นิพจน์ผลลัพธ์: { gradientChange, squaredChange: gradientChange ** 2, squaredHessianNorm: 4 }

displacement = input.displacement ใช้: input.displacement
gradientChange = 2 * displacement ใช้: displacement

ส่งกลับ

ผลลัพธ์ตัวอย่าง

gradientChange: 1
squaredChange: 1
squaredHessianNorm: 4

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ตัวอย่างใช้ f(θ) = θ² และ |การเคลื่อน| ≤ 1 เฮสเซียนคงที่เท่ากับ 2 ดังนั้นซูพรีมัมของนอร์มตัวดำเนินการกำลังสองบนช่วงหนึ่งหน่วยเท่ากับ 4 พอดี นี่ไม่ได้พิสูจน์ขอบเขตของต้นฉบับสำหรับโครงข่ายประสาท การอภิปรายการฝึกของต้นฉบับสมมติฟังก์ชันกระตุ้นที่ราบเรียบและไม่แอฟไฟน์ ข้อมูลเข้าฝึกต่างกัน ความสูญเสียกำลังสอง และพารามิเตอร์เริ่มต้นของชั้นซ่อนและผลลัพธ์แบบเกาส์อิสระที่มีความแปรปรวน 1/n ผลความน่าจะเป็นสูงและการลู่เข้าต้องมีเงื่อนไขเพิ่มเติมเรื่องความกว้าง บริเวณใกล้เคียง และขนาดขั้นตามที่ระบุ

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ