คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ความสูญเสียกำลังสองที่มีขอบเขต

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ความสูญเสียรายตัวอย่าง · ให้คะแนนความสูญเสียแก่ข้อมูลสังเกตหนึ่งตัวอย่าง

ค่าทำนายและคำตอบให้ความสูญเสีย การจำแนกใช้ครอสเอนโทรปีและ α/2 คูณผลรวมน้ำหนักที่ไม่ใช่ไบแอสยกกำลังสอง ริดจ์ใช้ MSE ของมวลที่ปรับสเกลและ α คูณสัมประสิทธิ์ทุกตัวรวมไบแอสยกกำลังสอง

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ให้คะแนนความผิดพลาด / ความสูญเสียรายตัวอย่าง

ข้อมูลเข้าหรือสมมติฐาน: ผลทำนายหรือความหนาแน่น และคำตอบหรือตัวอย่างที่สังเกต
ผลลัพธ์หรือข้อสรุป: ค่าความสูญเสีย

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2.3 ใช้ได้กับตัวอย่างใหม่หรือไม่

หากทั้งเป้าหมายการถดถอยและค่าทำนายทุกค่ามีค่าสัมบูรณ์ไม่เกิน c ผลต่างมีค่าสัมบูรณ์ไม่เกิน 2c ยกกำลังสองได้ขอบเขตความสูญเสีย 4c²

กลุ่มสมมติมีค่าทำนายคงที่สองค่า −c และ +c และเป้าหมายคือ +c

ความสูญเสียมีขอบเขตช่วยให้ใช้การให้เหตุผลเรื่องการกระจุกตัวของต้นฉบับ

ตัวอย่างสูตรต้นฉบับ

\sup_{f\in\mathcal F}|f(X)|\leq c,\quad\sup_{f\in\mathcal F}|\mathcal L(f,Z)|\leq4c^2

ภาพประกอบ · ค่าสูงสุดแน่นอนสำหรับกลุ่มสมมติสองกฎนี้ สมมติฐานทั่วไปของต้นฉบับเกี่ยวกับขอบเขตเกือบแน่นอนเหนือกลุ่มและการแจกแจงทั้งหมด

สัญลักษณ์

$c$: ขอบเขตบวกของ |Y| และ |f(X)| ทั่วกลุ่มสมมติฐาน
$ℒ$: ความสูญเสียการถดถอยกำลังสอง

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ขอบเขตบวก c

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.c = 2

คำนวณที่นี่

นิพจน์ผลลัพธ์: { predictions, target, losses, largestPredictionMagnitude: Math.max(...predictions.map(Math.abs)), largestLoss: Math.max(...losses), lossBound: 4 * c ** 2, }

c = input.c ใช้: input.c
predictions = [-c, c] ใช้: c
target = c ใช้: c
losses = predictions.map((prediction) => (prediction - target) ** 2) ใช้: predictions, target

ส่งกลับ

ผลลัพธ์ตัวอย่าง

predictions: อาร์เรย์ (2 รายการ): [-2, 2]
target: 2
losses: อาร์เรย์ (2 รายการ): [16, 0]
largestPredictionMagnitude: 2
largestLoss: 16
lossBound: 16

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ต้นฉบับสมมติ |Y|≤c และ sup_f |f(X)|≤c เกือบแน่นอน อสมการสามเหลี่ยมให้ |f(X)−Y|≤2c จึงมีความสูญเสียกำลังสองไม่เกิน 4c² การคำนวณไม่ได้ประมาณซูพรีมัมประชากรจากตัวอย่าง

แหล่งอ้างอิง: ความสูญเสียการถดถอยมีขอบเขต