คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ค่าต่ำสุดของเป้าหมายที่มีการทำให้เป็นปกติ

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การเรียนรู้และการปรับพารามิเตอร์ · เลือกกฎหรือปรับพารามิเตอร์ด้วยกฎการเรียนรู้

ฟังก์ชันเป้าหมายให้เกรเดียนต์เพื่อปรับพารามิเตอร์

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ปรับกฎ / การเรียนรู้และการปรับพารามิเตอร์

ข้อมูลเข้าหรือสมมติฐาน: ตัวอย่างฝึกหรือฟังก์ชันเป้าหมาย พร้อมกฎเรียนรู้หรือกฎปรับค่า
ผลลัพธ์หรือข้อสรุป: กฎทำนายที่เลือกหรือพารามิเตอร์ที่ปรับแล้ว

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

กฎทำนายและชั้นของเครือข่าย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2 เรียนรู้จากตัวอย่าง

ลดความผิดพลาดกำลังสองเชิงประจักษ์บวก α คูณพารามิเตอร์กำลังสองให้ต่ำที่สุด

ตัวทำให้เป็นปกติเปลี่ยนพารามิเตอร์ที่ดีที่สุดซึ่งเลือกจากการปรับให้พอดี

ตัวอย่างสูตรต้นฉบับ

\min_{\theta\in{\mathbb{R}}^{P(N)}}\widehat{\mathcal{R}}_{s}(\Phi_{{a}}(\cdot,\theta))+\alpha\|\theta\|^{2}_{2},

ตรงตามนิยาม · ตัวลดต่ำสุดที่ระบุนี้ใช้ได้เฉพาะแบบจำลองเชิงเส้นสมมติและความสูญเสียกำลังสอง

สัญลักษณ์

$R̂s$: ความเสี่ยงเชิงประจักษ์บนตัวอย่าง s
$Φₐ$: ตัวทำนายเครือข่าย
$α$: พารามิเตอร์การทำให้เป็นปกติที่ไม่เป็นลบ
$θ$: เวกเตอร์พารามิเตอร์จำนวนจริง

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ตัวทำให้เป็นปกติ α

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.alpha = 0.5

ค่าเริ่มต้นในโค้ด

xs = [1, 2]
ys = [2, 4]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { theta, empiricalRisk, penalty, minimum: empiricalRisk + penalty }

alpha = input.alpha ใช้: input.alpha
theta = 5 / (2.5 + alpha) ใช้: alpha
errors = xs.map((x, i) => theta * x - ys[i]) ใช้: xs, theta, ys
empiricalRisk = errors.reduce((sum, e) => sum + e * e, 0) / 2 ใช้: errors
penalty = alpha * theta * theta ใช้: alpha, theta

ส่งกลับ

ผลลัพธ์ตัวอย่าง

theta: ≈1.667
empiricalRisk: ≈0.2778
penalty: ≈1.389
minimum: ≈1.667

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ตัวอย่างใช้ fθ(x)=θx และคู่สมมติ (1,2),(2,4) การหาอนุพันธ์ของเป้าหมายกำลังสองให้ θ=5/(2.5+α) ซึ่งเป็นค่าต่ำสุดทั่วทั้งโดเมนเมื่อ α ≥ 0

แหล่งอ้างอิง: นิพจน์จากแหล่งต้นฉบับ