คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

แนวคิด / การหาค่าที่เหมาะสม

การเปลี่ยนคุณลักษณะหลังพารามิเตอร์เคลื่อน

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ทฤษฎีการหาค่าเหมาะสม · ศึกษาการลู่เข้าและรูปทรงของความสูญเสียภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

คำนวณสูตรเกรเดียนต์ตามน้ำหนักผลลัพธ์เดียวกันหลังเปลี่ยนพารามิเตอร์ได้ โดยใช้คุณลักษณะและความผิดพลาดใหม่

การเปรียบเทียบตรวจว่าขอบเขตล่างของเกรเดียนต์ยังอยู่หลังเปลี่ยนพารามิเตอร์หรือไม่

ตัวอย่างสูตรต้นฉบับ

∥∇θr(Θ+θˉ)∥22≥4m2∥∑i=1m∇θ(2)Φ(x(i),Θ+θˉ)(Φ(x(i),Θ+θˉ)−y(i))∥22 ⁣ ⁣=(5.5)4m2∥∑i=1m(∇θ(2)Φ(x(i),Θ)+O(1))(Φ(x(i),Θ+θˉ)−y(i))∥22≳(∗)1m2(λmin⁡(KˉΘ)+O(1))∥(Φ(x(i),Θ+θˉ)−y(i))i=1m∥22≳nmr(Θ+θˉ),\begin{split}\|\nabla_{\theta}{r}(\Theta+\bar{\theta})\|_{2}^{2}&\geq\frac{4}{m^{2}}\Big\|\sum_{i=1}^{m}\nabla_{\theta^{(2)}}\Phi(x^{(i)},\Theta+\bar{\theta})(\Phi(x^{(i)},\Theta+\bar{\theta})-y^{(i)})\Big\|_{2}^{2}\\ &\!\!\underset{\text{(5.5)}}{=}\frac{4}{m^{2}}\Big\|\sum_{i=1}^{m}(\nabla_{\theta^{(2)}}\Phi(x^{(i)},\Theta)+{\mathcal{O}}(1))(\Phi(x^{(i)},\Theta+\bar{\theta})-y^{(i)})\Big\|_{2}^{2}\\ &\underset{(*)}{\gtrsim}\frac{1}{m^{2}}(\lambda_{\min}(\bar{K}_{\Theta})+{\mathcal{O}}(1))\|(\Phi(x^{(i)},\Theta+\bar{\theta})-y^{(i)})_{i=1}^{m}\|_{2}^{2}\\ &\gtrsim\frac{n}{m}{r}(\Theta+\bar{\theta}),\end{split}

ภาพประกอบ · การรบกวนแบบพิเศษนี้ไม่ได้พิสูจน์เสถียรภาพสำหรับการเปลี่ยนพารามิเตอร์ทั่วไปหรือทฤษฎีบทการลู่เข้าของต้นฉบับ

สัญลักษณ์

ΘΘ
พารามิเตอร์เริ่มต้น
θˉθ̄
การเคลื่อนของพารามิเตอร์
rr
ความสูญเสียฝึกกำลังสอง
KˉK̄
เมทริกซ์แกรมของเกรเดียนต์ผลลัพธ์ ณ การเริ่มต้น
O(1),≳O(1), ≳
พจน์เชิงอสมการที่มีค่าคงที่ภายใต้สมมติฐานต้นฉบับ

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

  • input.change = 0.5

ค่าเริ่มต้นในโค้ด

  • initialization = [1, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { initialization, displacement, perturbed, risk, fullSquaredNorm: fullGradient.reduce((s, v) => s + v * v, 0), outputSquaredNorm: outputGradient ** 2, initialGram: 1, perturbedGram: 1, eigenLowerBound: 4 * risk, width...

  • a = 1 + input.change ใช้: input.change
  • error = a ใช้: a
  • risk = error ** 2 ใช้: error
  • outputGradient = 2 * error ใช้: error
  • fullGradient = [outputGradient, 2 * error * a] ใช้: outputGradient, error, a
  • displacement = [input.change, 0] ใช้: input.change
  • perturbed = [a, 1] ใช้: a

ส่งกลับ

ผลลัพธ์ตัวอย่าง
risk
2.25
fullSquaredNorm
29.25
outputSquaredNorm
9
initialGram
1
perturbedGram
1
eigenLowerBound
9
widthScaledRisk
2.25
chosenConstant
4
… (11 รายการ)

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

สำหรับ Φ = awx ที่มี x = 1 หนึ่งค่า เป้าหมาย 0 และ w = 1 ให้เปลี่ยน a จาก 1 เป็น 1 + การเคลื่อน คุณลักษณะและค่าลักษณะเฉพาะของแกรมคงที่ พจน์การเปลี่ยนคุณลักษณะจึงเป็นศูนย์ การเปรียบเทียบสุดท้ายใช้ค่าคงที่สมมติ 4 ต้นฉบับใช้พจน์ O(1) เชิงอสมการและขอบเขตล่างความน่าจะเป็นสูงภายใต้สมมติฐานของตน การอภิปรายการฝึกของต้นฉบับสมมติฟังก์ชันกระตุ้นที่ราบเรียบและไม่แอฟไฟน์ ข้อมูลเข้าฝึกต่างกัน ความสูญเสียกำลังสอง และพารามิเตอร์เริ่มต้นของชั้นซ่อนและผลลัพธ์แบบเกาส์อิสระที่มีความแปรปรวน 1/n ผลความน่าจะเป็นสูงและการลู่เข้าต้องมีเงื่อนไขเพิ่มเติมเรื่องความกว้าง บริเวณใกล้เคียง และขนาดขั้นตามที่ระบุ ต้นฉบับทำเครื่องหมายขั้นเปรียบเทียบค่าลักษณะเฉพาะแกรมด้วย (*) ตัวอย่างคำนวณการเปรียบเทียบนั้นโดยตรง

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ