คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ขอบเขตความผิดพลาดจากการตัดแต่ง

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การตัดแต่ง · อธิบายการตัดน้ำหนักเครือข่ายและขอบเขตความผิดพลาด

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ทำนายผล / การตัดแต่ง

ข้อมูลเข้าหรือสมมติฐาน: เครือข่าย การเลือก หรือสมมติฐานของขอบเขต
ผลลัพธ์หรือข้อสรุป: เครือข่ายที่ตัดแต่งหรือขอบเขตความผิดพลาด

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: กฎทำนายและชั้นของเครือข่าย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 6.5 ตัดการเชื่อมต่อที่ไม่จำเป็น

ต้นฉบับให้ขอบเขตความผิดพลาดระหว่างโครงข่ายเรลูสองชั้นกับโครงข่ายเบาบาง โค้ดประเมินด้านขวาของขอบเขต

ขอบเขตบนลดลงเมื่อจำนวนหน่วยซ่อนเดิมเพิ่มขึ้น โดยตรึงนอร์มน้ำหนักผลลัพธ์ไว้

ตัวอย่างสูตรต้นฉบับ

\|\Phi_{a}(\cdot,\theta)-\Phi_{a}(\cdot,\tilde{\theta})\|_{L^{2}(\mu)}\leq\frac{15\|w^{(2)}\|_{1}}{\sqrt{n}}.

ภาพประกอบ · โค้ดประเมินขอบเขต ไม่ใช่ความผิดพลาดการประมาณ และไม่ได้สร้างโครงข่ายเบาบางหรือพิสูจน์การมีอยู่

สัญลักษณ์

$n$: จำนวนหน่วยซ่อนเดิม อย่างน้อย 100
$\Vert w^{(2)}\Vert _1$: ผลรวมค่าสัมบูรณ์ของน้ำหนักผลลัพธ์

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

จำนวนหน่วยซ่อนเดิม nนอร์ม L1 ของน้ำหนักผลลัพธ์

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.n = 100
input.norm = 2

คำนวณที่นี่

นิพจน์ผลลัพธ์: { upperBound: (15 * input.norm) / Math.sqrt(input.n) }

ส่งกลับ

ผลลัพธ์ตัวอย่าง

upperBound: 3

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ต้นฉบับกำหนดเมเชอร์ความน่าจะเป็นบนบอลหนึ่งหน่วย โครงข่ายเรลูสองชั้นที่มี n ≥ 100 นอร์มน้ำหนักชั้นแรกแต่ละตัวไม่เกิน 1/2 และไบแอสชั้นแรกแต่ละตัวไม่เกิน 1/2 โดยยืนยันการมีอยู่ของเวกเตอร์พารามิเตอร์ที่มีสมาชิกเป็นศูนย์อย่างน้อย 99% พร้อมขอบเขตความผิดพลาดที่ระบุ ค่าตัวอย่างไม่ได้พิสูจน์สมมติฐานเหล่านี้

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ