คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ความสูญเสียจากความประหลาดใจ

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การจำแนกทำนายสามชนิด ริดจ์ทำนายมวลเป็นกรัมจากข้อมูลเดียวกัน แต่เป็นคนละแบบจำลอง ค่าทำนายชุดฝึกส่งไปยังฟังก์ชันเป้าหมาย ค่าทำนายชุดทดสอบ 102 แถวแยกไว้และไม่ปรับน้ำหนัก

ความสูญเสียรายตัวอย่าง · ให้คะแนนความสูญเสียแก่ข้อมูลสังเกตหนึ่งตัวอย่าง

ค่าทำนายและคำตอบให้ความสูญเสีย การจำแนกใช้ครอสเอนโทรปีและ α/2 คูณผลรวมน้ำหนักที่ไม่ใช่ไบแอสยกกำลังสอง ริดจ์ใช้ MSE ของมวลที่ปรับสเกลและ α คูณสัมประสิทธิ์ทุกตัวรวมไบแอสยกกำลังสอง

งานแถวฝึกขั้นฝึกค่าปรับ αรหัสแถวทดสอบ

ความสูญเสีย

ข้อมูลเข้า: ชุดฝึก: 12 ค่าทำนาย
ผลลัพธ์: [≈0.005482, ≈1.012, ≈0.1422] … (12 รายการ) · ความสูญเสียเฉลี่ยชุดฝึก: ≈0.228 (ครอสเอนโทรปี)

การดำเนินการของโครงการ

การคำนวณโครงการใช้ข้อมูลชุดนี้ สูตรและตัวอย่างต้นฉบับอยู่ด้านล่าง การแก้โค้ดมีผลเฉพาะหน้านี้ ส่วนการตั้งค่าโครงการส่งต่อระหว่างหน้า

ค่าทำนาย → ความสูญเสีย → ความสูญเสียเฉลี่ยชุดฝึก

ข้อมูลเข้าโครงการ

แสดงสามรายการแรก การดำเนินการรับอาร์เรย์ทั้งหมด ค่าตัวอย่างปัดเศษแล้ว การดำเนินการใช้ค่าเต็ม

input.task · การตั้งค่าโครงการหรือค่าคงที่: classification
input.predictions · ค่าทำนาย: [ชนิด: อาเดลี · ความน่าจะเป็น: [≈0.9945, ≈0.005412, ≈0.00005477], ชนิด: อาเดลี · ความน่าจะเป็น: [≈0.6338, ≈0.3635, ≈0.002677], ชนิด: เจนทู · ความน่าจะเป็น: [≈0.1023, ≈0.03028, ≈0.8674]] … (12 รายการ)
input.targets · ข้อมูลสังเกต: [0, 1, 2] … (12 รายการ)

JavaScript

ผลลัพธ์

[≈0.005482, ≈1.012, ≈0.1422] … (12 รายการ)

บทบาท: ให้คะแนนความผิดพลาด / ความสูญเสียรายตัวอย่าง

ข้อมูลเข้าหรือสมมติฐาน: ผลทำนายหรือความหนาแน่น และคำตอบหรือตัวอย่างที่สังเกต
ผลลัพธ์หรือข้อสรุป: ค่าความสูญเสีย

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2 เรียนรู้จากตัวอย่าง

ความประหลาดใจของค่าที่สังเกต z คือ −log(f(z)) โดย f(z) เป็นความหนาแน่นบวกของค่านั้น

ความสูญเสียนี้ปรากฏในการประมาณภาวะน่าจะเป็นสูงสุด

ตัวอย่างสูตรต้นฉบับ

{\mathcal{L}}(f,z)=-\log(f(z))

ตัวอย่างประกอบ · ค่าความหนาแน่นไม่จำเป็นต้องเป็นความน่าจะเป็น ณ แต่ละจุด ความหนาแน่นศูนย์ให้ความสูญเสียอนันต์และไม่ได้ใช้ในการคำนวณจำกัดนี้

สัญลักษณ์

$f$: ความหนาแน่นความน่าจะเป็น
$z$: ค่าที่สังเกต
$ℒ$: ความสูญเสียจากความประหลาดใจ

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

ค่าเริ่มต้นในโค้ด

density = 0.5

คำนวณที่นี่

นิพจน์ผลลัพธ์: { density, loss: -Math.log(density) }

ส่งกลับ

ผลลัพธ์ตัวอย่าง

density: 0.5
loss: ≈0.6931

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ค่าตัวเลขสร้างขึ้น ค่าความหนาแน่นไม่จำเป็นต้องเป็นความน่าจะเป็น ณ แต่ละจุด ความหนาแน่นศูนย์ให้ความสูญเสียอนันต์และไม่ได้ใช้ในการคำนวณจำกัดนี้

แหล่งอ้างอิง: สัญกรณ์ในข้อความ