คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ความเสี่ยงบนตัวอย่างทดสอบแยกต่างหาก

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การจำแนกทำนายสามชนิด ริดจ์ทำนายมวลเป็นกรัมจากข้อมูลเดียวกัน แต่เป็นคนละแบบจำลอง ค่าทำนายชุดฝึกส่งไปยังฟังก์ชันเป้าหมาย ค่าทำนายชุดทดสอบ 102 แถวแยกไว้และไม่ปรับน้ำหนัก

ความเสี่ยงและการประเมิน · แยกความสูญเสียบนตัวอย่างออกจากความสูญเสียคาดหมาย

ประเมินกฎที่ฝึกแล้วด้วยข้อมูลทดสอบ 102 แถวที่ไม่ใช้ฝึก

งานแถวฝึกขั้นฝึกค่าปรับ αรหัสแถวทดสอบ

ประเมินชุดทดสอบ

ข้อมูลเข้า: 102 · #58: 40.6 มม., 193 มม.
ผลลัพธ์: คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737]; ความสูญเสียเฉลี่ยชุดทดสอบ: ≈0.1639 (ครอสเอนโทรปี); ทำนายถูก: 99/102

การดำเนินการของโครงการ

การคำนวณโครงการใช้ข้อมูลชุดนี้ สูตรและตัวอย่างต้นฉบับอยู่ด้านล่าง การแก้โค้ดมีผลเฉพาะหน้านี้ ส่วนการตั้งค่าโครงการส่งต่อระหว่างหน้า

ค่าทำนาย → ประเมินชุดทดสอบ → ประเมินชุดทดสอบ

ข้อมูลเข้าโครงการ

แสดงสามรายการแรก การดำเนินการรับอาร์เรย์ทั้งหมด ค่าตัวอย่างปัดเศษแล้ว การดำเนินการใช้ค่าเต็ม

input.task · การตั้งค่าโครงการหรือค่าคงที่: classification
input.predictions · ค่าทำนาย: [ชนิด: อาเดลี · ความน่าจะเป็น: [≈0.7383, ≈0.2444, ≈0.01737], ชนิด: อาเดลี · ความน่าจะเป็น: [≈0.533, ≈0.2223, ≈0.2447], ชนิด: เจนทู · ความน่าจะเป็น: [≈0.0001477, ≈0.001447, ≈0.9984]] … (102 รายการ)
input.targets · ข้อมูลสังเกต: [0, 0, 2] … (102 รายการ)
input.rows · ข้อมูลสังเกต: [ชนิด: อาเดลี · มวล (กรัม): 3800, ชนิด: อาเดลี · มวล (กรัม): 4000, ชนิด: เจนทู · มวล (กรัม): 5250] … (102 รายการ)

JavaScript

ผลลัพธ์

ความสูญเสียเฉลี่ย: ≈0.1639 · ทำนายถูก: 99 · ทั้งหมด: 102

บทบาท: ตรวจสอบตัวอย่างใหม่ / ความเสี่ยงและการประเมิน

ข้อมูลเข้าหรือสมมติฐาน: ผลทำนายหรือกฎ และตัวอย่างประเมินหรือความน่าจะเป็น
ผลลัพธ์หรือข้อสรุป: ความเสี่ยง ความสูญเสียบนตัวอย่าง หรือระยะขอบการจำแนก

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.3 คำถามที่จะศึกษาต่อ

ฝึกกฎบนตัวอย่าง s แล้วหาค่าเฉลี่ยความสูญเสียบนตัวอย่าง s-tilde ที่แยกต่างหาก

กฎสมมติทำนาย 0 เสมอ ป้ายทดสอบแยกต่างหากคือ [0,1,1]

ตัวอย่างทดสอบแยกต่างหากสามารถประมาณประสิทธิภาพบนข้อมูลใหม่

ตัวอย่างสูตรต้นฉบับ

\widehat{\mathcal R}_{\tilde s}(f_s)

ภาพประกอบ · ค่าเฉลี่ยทดสอบจำกัดนี้โดยทั่วไปไม่เท่าความเสี่ยงประชากร ข้อมูลทดสอบสมมติถูกตรึงไว้

สัญลักษณ์

$f_s$: กฎที่เรียนรู้จากตัวอย่างฝึก s
$~s$: ตัวอย่างทดสอบแยกต่างหาก

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ค่าทำนายคงที่

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.prediction = 0

ค่าเริ่มต้นในโค้ด

testLabels = [0, 1, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { testLabels, prediction, losses, testRisk: losses.reduce((a, b) => a + b, 0) / losses.length, }

prediction = input.prediction ใช้: input.prediction
losses = testLabels.map((label) => (prediction === label ? 0 : 1)) ใช้: testLabels, prediction

ส่งกลับ

ผลลัพธ์ตัวอย่าง

testLabels: อาร์เรย์ (3 รายการ): [0, 1, 1]
prediction: 0
losses: อาร์เรย์ (3 รายการ): [0, 1, 1]
testRisk: ≈0.6667

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ต้นฉบับอธิบายตัวอย่างทดสอบอิสระที่สุ่มจากประชากรเดียวกับข้อมูลฝึก โค้ดประเมินกฎที่กำหนดบนตัวอย่างทดสอบสมมติคงที่ ไม่ได้ฝึกกฎหรือจำลองการสุ่ม

แหล่งอ้างอิง: ความเสี่ยงตัวอย่างทดสอบ