คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

การครอบคลุมตัวจำแนกและความสูญเสีย

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ขอบเขตการทำงานกับข้อมูลใหม่ · เชื่อมพฤติกรรมบนตัวอย่างกับความเสี่ยงประชากรภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / ขอบเขตการทำงานกับข้อมูลใหม่

ข้อมูลเข้าหรือสมมติฐาน: ชั้นฟังก์ชัน สมมติฐานการสุ่ม และพารามิเตอร์ขอบเขต
ผลลัพธ์หรือข้อสรุป: การเปรียบเทียบหรือขอบเขตความเสี่ยง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

อธิบาย: ความเสี่ยงและการประเมิน
อธิบาย: ฟังก์ชันเป้าหมาย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2 เรียนรู้จากตัวอย่าง

สำหรับป้ายและค่าทำนายทวิภาค ±1 ความสูญเสียศูนย์หนึ่งคือ (1−yf(x))/2 ระยะระหว่างความสูญเสียสองค่าคือครึ่งหนึ่งของระยะระหว่างค่าทำนายบนตัวอย่าง

ตัวอย่างนี้มีข้อมูลเข้าติดป้ายหนึ่งตัวและตัวจำแนกคงที่ +1 และ −1 สองตัว

สิ่งนี้ให้ต้นฉบับแปลงปัญหาครอบคลุมกลุ่มความสูญเสียเป็นปัญหาครอบคลุมตัวจำแนก

ตัวอย่างสูตรต้นฉบับ

N_{\alpha}({\mathcal{G}},d_{S})=N_{2\alpha}({\mathcal{F}},d_{(X^{(i)})_{i=1}^{m}}).

ภาพประกอบ · จำนวนครอบคลุมแน่นอนสำหรับกลุ่มจำกัดสองฟังก์ชันนี้ นิพจน์ VC แยกต่างหากละค่าคงที่ซ่อนใน ≲ และไม่ใช่ขอบเขตบนแน่นอนด้วยตัวเอง

สัญลักษณ์

$ℱ$: กลุ่มตัวจำแนกทวิภาคที่มีค่าใน {−1,1}
$\mathcal{G}$: กลุ่มความสูญเสียศูนย์หนึ่งที่เกี่ยวข้อง
$α$: รัศมีครอบคลุมบวก ค่าประมาณ VC ใช้ α ใน (0,1)

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

รัศมี α

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.alpha = 0.5

ค่าเริ่มต้นในโค้ด

predictions = [-1, 1]
label = 1
vcDimension = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { predictions, losses, lossDistance, predictionDistance, lossCover, classifierCover, logCoverAtAlpha: Math.log(classifierCoverAtAlpha), hausslerScale: alpha < 1 ? vcDimension * Math.log(1 / alpha) : null, }

alpha = input.alpha ใช้: input.alpha
losses = predictions.map((prediction) => (1 - label * prediction) / 2) ใช้: predictions, label
predictionDistance = Math.abs(predictions[0] - predictions[1]) ใช้: predictions
lossDistance = Math.abs(losses[0] - losses[1]) ใช้: losses
lossCover = lossDistance < alpha ? 1 : 2 ใช้: lossDistance, alpha
classifierCover = predictionDistance < 2 * alpha ? 1 : 2 ใช้: predictionDistance, alpha
classifierCoverAtAlpha = predictionDistance < alpha ? 1 : 2 ใช้: predictionDistance, alpha

ส่งกลับ

ผลลัพธ์ตัวอย่าง

predictions: อาร์เรย์ (2 รายการ): [-1, 1]
losses: อาร์เรย์ (2 รายการ): [1, 0]
lossDistance: 1
predictionDistance: 2
lossCover: 2
classifierCover: 2
logCoverAtAlpha: ≈0.6931
hausslerScale: ≈0.6931

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

เอกลักษณ์ต้นฉบับสมมติค่าทำนายและป้ายทวิภาคใน {−1,1} และระยะเทียมบนตัวอย่างตามที่ระบุ ค่าประมาณ VC จำกัดลอการิทึมจำนวนครอบคลุมโดยมีค่าคงที่ซ่อนสำหรับ α∈(0,1) ตัวจำแนกคงที่สองตัวแยกจุดหนึ่งได้ครบ แต่ไม่สามารถกำหนดป้ายตรงข้ามให้สองจุด จึงมีมิติ VC เท่ากับ 1

แหล่งอ้างอิง: นิพจน์จากแหล่งต้นฉบับ