คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

จาโคเบียนของการทำให้เป็นบรรทัดฐานแบบกลุ่ม

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การปรับมาตรฐานชุดข้อมูล · อธิบายการปรับมาตรฐานชุดข้อมูลและอนุพันธ์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ทำนายผล / การปรับมาตรฐานชุดข้อมูล

ข้อมูลเข้าหรือสมมติฐาน: ค่าชุดข้อมูลและพารามิเตอร์การปรับมาตรฐาน
ผลลัพธ์หรือข้อสรุป: ค่าที่ปรับมาตรฐานหรือความสัมพันธ์ของอนุพันธ์

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: กฎทำนายและชั้นของเครือข่าย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 6.4 ปรับตัวเลขให้เทียบกันได้

จาโคเบียนบันทึกว่าค่าหลังทำให้เป็นบรรทัดฐานแต่ละค่าเปลี่ยนอย่างไรเมื่อข้อมูลป้อนเข้าแต่ละตัวในชุดเปลี่ยน

การดำเนินการเหล่านี้กำหนดชั้นโครงข่ายที่มีโครงสร้างและการวิเคราะห์ชั้นเหล่านั้น

ตัวอย่างสูตรต้นฉบับ

\frac{\partial\mathcal{B}^{(\beta,\gamma)}({b})}{\partial{b}}=\frac{\gamma}{\sigma_{b}}\Big(\mathrm{I}_{m}-\frac{1}{m}\mathbf{1}\mathbf{1}^{T}-\frac{1}{m}\mathcal{B}^{(0,1)}({b})(\mathcal{B}^{(0,1)}({b}))^{T}\Big),\quad{b}\in{\mathbb{R}}^{m},

ภาพประกอบ · ข้อมูลจำกัดที่สร้างขึ้นแสดงนิพจน์นี้ ไม่ได้พิสูจน์เอกลักษณ์ ขอบเขต หรือการมีอยู่ทั่วไป

สัญลักษณ์

$b$: เวกเตอร์ชุดจำนวนจริงความยาว m
$γ$: มาตราส่วนจำนวนจริง
$σb$: ส่วนเบี่ยงเบนมาตรฐานชุดที่เป็นบวก
$B⁽⁰,¹⁾$: ชุดที่ทำให้เป็นบรรทัดฐานโดยใช้ค่าเลื่อนศูนย์และมาตราส่วนหนึ่ง
$Iₘ$: เมทริกซ์เอกลักษณ์ m คูณ m
$1$: เวกเตอร์หนึ่งความยาว m

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

มาตราส่วน

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.gamma = 1

ค่าเริ่มต้นในโค้ด

b = [-1, 0, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { jacobian, rowSums: jacobian.map((row) => row.reduce((a, v) => a + v, 0)) }

sigma = Math.sqrt(2 / 3)
z = b.map((v) => v / sigma) ใช้: b, sigma
jacobian = b.map((_, i) => b.map( (__, j) => (input.gamma / sigma) * ((i === j ? 1 : 0) - 1 / 3 - (z[i] * z[j]) / 3), ), ) ใช้: b, input.gamma, sigma, z

ส่งกลับ

ผลลัพธ์ตัวอย่าง

jacobian: อาร์เรย์ (3 รายการ): [อาร์เรย์ (3 รายการ): [≈0.2041, ≈-0.4082, ≈0.2041], อาร์เรย์ (3 รายการ): [≈-0.4082, ≈0.8165, ≈-0.4082], อาร์เรย์ (3 รายการ): [≈0.2041, ≈-0.4082, ≈0.2041]]
rowSums: อาร์เรย์ (3 รายการ): [0, 0, 0]

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ชุดมีค่าสเกลาร์สามค่าและส่วนเบี่ยงเบนมาตรฐานไม่เป็นศูนย์ ตัวอย่างคำนวณจาโคเบียนที่ระบุสำหรับหนึ่งชุด ไม่ได้พิสูจน์เอกลักษณ์นอร์มเกรเดียนต์ ข้อเสนอในต้นฉบับกำหนด m ≥ 2, β และ γ เป็นจำนวนจริง และ r หาอนุพันธ์ได้ สูตรต้องมี σb > 0 แม้ข้อความต้นฉบับที่แสดงระบุทุกชุด เพราะชุดคงที่ทำให้ตัวส่วนเป็นศูนย์

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ