คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

แนวคิด / การหาค่าที่เหมาะสม

เกรเดียนต์ตามน้ำหนักผลลัพธ์และเคอร์เนล

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ทฤษฎีการหาค่าเหมาะสม · ศึกษาการลู่เข้าและรูปทรงของความสูญเสียภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

สำหรับความสูญเสียกำลังสอง เกรเดียนต์ตามน้ำหนักผลลัพธ์คือสองเท่าของค่าเฉลี่ยผลคูณระหว่างความผิดพลาดแต่ละค่ากับเวกเตอร์คุณลักษณะ

เกรเดียนต์เต็มมีเกรเดียนต์ตามน้ำหนักผลลัพธ์เป็นส่วนหนึ่ง จึงให้ขอบเขตล่างของนอร์มกำลังสอง

ตัวอย่างสูตรต้นฉบับ

∥∇θr(Θ)∥22≥4m2∥∑i=1m∇θ(2)Φ(x(i),Θ)(Φ(x(i),Θ)−y(i))∥22=4m2((Φ(x(i),Θ)−y(i))i=1m)TKˉΘ(Φ(x(j),Θ)−y(j))j=1m,\begin{split}\|\nabla_{\theta}{r}(\Theta)\|_{2}^{2}&\geq\frac{4}{m^{2}}\Big\|\sum_{i=1}^{m}\nabla_{\theta^{(2)}}\Phi(x^{(i)},\Theta)(\Phi(x^{(i)},\Theta)-y^{(i)})\Big\|_{2}^{2}\\ &=\frac{4}{m^{2}}\big((\Phi(x^{(i)},\Theta)-y^{(i)})_{i=1}^{m}\big)^{T}\bar{K}_{\Theta}(\Phi(x^{(j)},\Theta)-y^{(j)})_{j=1}^{m},\end{split}

ภาพประกอบ · การคำนวณแน่นอนจากตัวอย่างเดียวนี้ไม่ได้พิสูจน์อสมการสำหรับโครงข่ายทั่วไปหรือผลการลู่เข้าของการฝึก

สัญลักษณ์

rr
ความสูญเสียฝึกกำลังสองเฉลี่ย
ΘΘ
เวกเตอร์พารามิเตอร์โครงข่าย
KˉK̄
เมทริกซ์แกรมของเกรเดียนต์ตามน้ำหนักผลลัพธ์
mm
จำนวนตัวอย่างฝึกที่เป็นบวก
Φ(x(i),Θ)−y(i)Φ(x⁽ⁱ⁾,Θ)−y⁽ⁱ⁾
ส่วนตกค้างของตัวอย่างฝึกที่ i

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

  • input.outputWeight = 1

ค่าเริ่มต้นในโค้ด

  • w = 1
  • x = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { fullGradient, fullSquaredNorm: fullGradient.reduce((sum, v) => sum + v * v, 0), gram, quadratic, outputGradientSquared, }

  • a = input.outputWeight ใช้: input.outputWeight
  • error = a * w * x ใช้: a, w, x
  • fullGradient = [2 * error * w * x, 2 * error * a * x] ใช้: error, w, x, a
  • gram = (w * x) ** 2 ใช้: w, x
  • quadratic = error * gram * error ใช้: error, gram
  • outputGradientSquared = 4 * quadratic ใช้: quadratic

ส่งกลับ

ผลลัพธ์ตัวอย่าง
fullGradient
อาร์เรย์ (2 รายการ): [2, 2]
fullSquaredNorm
8
gram
1
quadratic
1
outputGradientSquared
4

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

โครงข่ายสมมติหนึ่งหน่วยคือ Φ(x) = awx มีข้อมูลเข้าเดียว x = 1 และเป้าหมายศูนย์ เกรเดียนต์ตามพารามิเตอร์เต็มมีสองสมาชิก เมื่อ m = 1 ค่า 4/m² คือ 4 คำนวณทั้งสองด้านของอสมการแรกและสมการแกรม การอภิปรายการฝึกของต้นฉบับสมมติฟังก์ชันกระตุ้นที่ราบเรียบและไม่แอฟไฟน์ ข้อมูลเข้าฝึกต่างกัน ความสูญเสียกำลังสอง และพารามิเตอร์เริ่มต้นของชั้นซ่อนและผลลัพธ์แบบเกาส์อิสระที่มีความแปรปรวน 1/n ผลความน่าจะเป็นสูงและการลู่เข้าต้องมีเงื่อนไขเพิ่มเติมเรื่องความกว้าง บริเวณใกล้เคียง และขนาดขั้นตามที่ระบุ

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ