คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

แนวคิด / การใช้กับข้อมูลใหม่

ลิมิตความกว้างและปริภูมิเคอร์เนล

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

เคอร์เนลและการทำให้เป็นเชิงเส้น · เชื่อมเกรเดียนต์พารามิเตอร์หรือคุณลักษณะกับเมทริกซ์เคอร์เนล

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 2.1 มองผ่านความคล้ายคลึง · 3.1 กฎที่ขึ้นกับระยะทาง · 3.2 ส่วนตรงง่าย ๆ กับหลายชั้น · ส่วนต้นฉบับเพิ่มเติม

ต้นฉบับศึกษาลิมิตเคอร์เนลเมื่อความกว้างชั้นซ่อนเพิ่มและปริภูมิฮิลเบิร์ตเคอร์เนลสร้างซ้ำที่สอดคล้องกัน

สำหรับเครือข่ายสมมติ Φₙ(x)=n⁻¹ᐟ²∑aⱼReLU(wⱼx) กำหนดเริ่มต้นทุก aⱼ=0 และ wⱼ=1 เคอร์เนลเกรเดียนต์พารามิเตอร์เต็มคือ ReLU(x)ReLU(y) สำหรับทุก n

ปริภูมิเคอร์เนลให้นอร์มฟังก์ชันที่สัมพันธ์กับเคอร์เนลลิมิต

ตัวอย่างสูตรต้นฉบับ

N1,…,NL−1→∞,(HK∞,∥⋅∥K∞)N_1,\ldots,N_{L-1}\to\infty,\quad(\mathcal H_{K^\infty},\|\cdot\|_{K^\infty})

ภาพประกอบ · การกำหนดค่าเริ่มต้นแบบกำหนดแน่นอนพิเศษนี้ไม่ใช่การกำหนดแบบเกาส์ของต้นฉบับและไม่ได้พิสูจน์ทฤษฎีบทความกว้างอนันต์ทั่วไป ปริภูมิเคอร์เนลต้นฉบับอาจซับซ้อนกว่า

สัญลักษณ์

K∞K^∞
เคอร์เนลลิมิตของต้นฉบับ
HK∞ℋ_{K^∞}
ปริภูมิฮิลเบิร์ตที่สัมพันธ์กับเคอร์เนลนั้น
nn
ความกว้างซ่อนจำกัดในตัวอย่าง

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

  • input.n = 3
  • input.x = 2
  • input.y = 3
  • input.a = 2

คำนวณที่นี่

นิพจน์ผลลัพธ์: { width: n, featureX, featureY, kernel, functionValue: a * featureX, functionNorm: Math.abs(a), }

  • n = input.n ใช้: input.n
  • x = input.x ใช้: input.x
  • y = input.y ใช้: input.y
  • a = input.a ใช้: input.a
  • featureX = Math.max(0, x) ใช้: x
  • featureY = Math.max(0, y) ใช้: y
  • outputGradX = Array(n).fill(featureX / Math.sqrt(n)) ใช้: n, featureX
  • outputGradY = Array(n).fill(featureY / Math.sqrt(n)) ใช้: n, featureY

มีนิพจน์เพิ่มเติมในโค้ด

ส่งกลับ

ผลลัพธ์ตัวอย่าง
width
3
featureX
2
featureY
3
kernel
6
functionValue
4
functionNorm
2

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

เมื่อเริ่มต้นแบบตัวอย่าง เกรเดียนต์เทียบกับ w เป็นศูนย์เพราะน้ำหนักผลลัพธ์ aⱼ ทั้งหมดเป็นศูนย์ ผลคูณเกรเดียนต์ n ตัวที่เหลือรวมเป็น ReLU(x)ReLU(y) โดยไม่ขึ้นกับ n สำหรับเคอร์เนลอันดับหนึ่งนี้ ฟังก์ชันเป็น f(x)=a ReLU(x) และนอร์มปริภูมิเคอร์เนลคือ |a| นี่เป็นตัวอย่างพิเศษของแนวคิด ไม่ใช่ลิมิตทั่วไปของบทความ

แหล่งอ้างอิง: ลิมิตเคอร์เนลและปริภูมิฮิลเบิร์ต