คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

แนวคิด / พื้นฐานการเรียนรู้

กลุ่มคะแนนและป้ายจำกัด

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ชั้นแบบจำลองและโครงสร้าง · อธิบายกลุ่มของกฎ ขนาด และสมบัติเชิงโครงสร้าง

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2 เรียนรู้จากตัวอย่าง · 1.2.3 ใช้ได้กับตัวอย่างใหม่หรือไม่ · 1.3 คำถามที่จะศึกษาต่อ · ส่วนต้นฉบับเพิ่มเติม

ต้นฉบับสร้างกลุ่มกฎเครือข่ายค่าจริงโดยเปลี่ยนพารามิเตอร์ และกลุ่มตัวจำแนกโดยใช้เครื่องหมาย

ในตัวอย่าง ปริภูมิข้อมูลเข้ามีเพียง x=1 และน้ำหนักตัวเลือกสองค่าให้คะแนน −1 และ +1 อัลกอริทึมเลือกกฎบวกสำหรับป้ายบวก

กลุ่มฟังก์ชันอธิบายกฎที่อัลกอริทึมเลือกได้

ตัวอย่างสูตรต้นฉบับ

Fa,sgn⁡={sgn⁡(Φa(⋅,θ)):θ∈RP(N)}\mathcal F_{a,\operatorname{sgn}}=\{\operatorname{sgn}(\Phi_a(\cdot,\theta)): \theta\in\mathbb R^{P(N)}\}

ภาพประกอบ · ตัวอย่างมีโดเมนจำกัดและค่าพารามิเตอร์สองค่าที่เลือกชัดเจน ไม่ได้คำนวณขนาด มิติ VC หรือความซับซ้อนราเดมาเคอร์ของกลุ่มเครือข่ายต้นฉบับทั้งหมด

สัญลักษณ์

Faℱ_a
กลุ่มฟังก์ชันที่สถาปัตยกรรม a สร้างได้เมื่อพารามิเตอร์เปลี่ยน
Fa,sgnℱ_{a,sgn}
กลุ่มตัวจำแนกที่ได้จากฟังก์ชันเครื่องหมายของต้นฉบับ
M(X,Y)\mathcal{M}(\mathcal{X},\mathcal{Y})
ฟังก์ชันวัดได้จากปริภูมิข้อมูลเข้าไปยังผลลัพธ์

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

ค่าเริ่มต้นในโค้ด

  • x = 1
  • weights = [-1, 1]
  • label = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { x, weights, scores, classifiers, risks, selected, selectedClass, classSize: classifiers.length, vcDimension: 1, rademacherComplexity: 1, }

  • scores = weights.map((weight) => weight * x) ใช้: weights, x
  • classifiers = scores.map((score) => (score >= 0 ? 1 : -1)) ใช้: scores
  • risks = classifiers.map((prediction) => (prediction === label ? 0 : 1)) ใช้: classifiers, label
  • selected = risks.indexOf(Math.min(...risks)) ใช้: risks
  • selectedClass = [classifiers[selected]] ใช้: classifiers, selected

ส่งกลับ

ผลลัพธ์ตัวอย่าง
x
1
weights
อาร์เรย์ (2 รายการ): [-1, 1]
scores
อาร์เรย์ (2 รายการ): [-1, 1]
classifiers
อาร์เรย์ (2 รายการ): [-1, 1]
risks
อาร์เรย์ (2 รายการ): [1, 0]
selected
1
selectedClass
อาร์เรย์ (1 รายการ): [1]
classSize
2
… (10 รายการ)

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

บนโดเมนสมมติจุดเดียว กฎทวิภาคทั้งสองคือฟังก์ชันทั้งหมดจาก {1} ไป {−1,1} กฎบวกเหมาะที่สุดสำหรับป้ายที่แสดง รูปแบบป้ายทั้งสองเกิดได้บนจุดหนึ่ง มิติ VC สมมติจึงเป็น 1 สำหรับจุดตัวอย่างหนึ่งจุด ซูพรีมัมของค่าเฉลี่ยมีเครื่องหมายสัมบูรณ์เหนือกฎคงที่ ±1 สองกฎเป็น 1 สำหรับเครื่องหมายสุ่มทั้งสอง ความซับซ้อนราเดมาเคอร์คาดหมายจึงเป็น 1 ต้นฉบับกล่าวถึงช่วงผลลัพธ์อัลกอริทึมที่จำกัดและอาจขึ้นกับข้อมูล selectedClass ในตัวอย่างมีหนึ่งสมาชิกและเป็นเซตย่อยแท้ของกลุ่มสมมตินี้

แหล่งอ้างอิง: กลุ่มฟังก์ชัน