คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

จุดที่หน่วยเปลี่ยนสถานะ

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

กฎทำนายและชั้นของเครือข่าย · อธิบายหรือใช้กฎทำนาย ชั้น และพารามิเตอร์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ทำนายผล / กฎทำนายและชั้นของเครือข่าย

ข้อมูลเข้าหรือสมมติฐาน: ข้อมูลเข้า พารามิเตอร์ และกฎ
ผลลัพธ์หรือข้อสรุป: ผลทำนาย ค่าของชั้น หรือคำอธิบายแบบจำลอง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 3.3 วิธีอื่นในการวัดความสามารถในการแทนฟังก์ชัน

เซตนี้มีข้อมูลเข้าที่ค่าก่อนกระตุ้นของหน่วยที่เลือกเท่ากับศูนย์ เป็นขอบเขตระหว่างบริเวณค่าก่อนกระตุ้นบวกและลบ

ค่าก่อนกระตุ้นสมมติคือ ReLU(x)−1 ซึ่งเป็นศูนย์เมื่อ x=1

ขอบเขตเหล่านี้แบ่งปริภูมิข้อมูลเข้าเป็นบริเวณที่มีรูปแบบการกระตุ้นต่างกัน

ตัวอย่างสูตรต้นฉบับ

H_{i,\ell}\coloneqq\{x\in{\mathbb{R}}^{N_{0}}\colon\Phi_{i}^{(\ell)}(x,\theta)=0\},

ภาพประกอบ · โค้ดตรวจสมาชิกสำหรับจุดที่เลือกหนึ่งจุด การทดสอบจำกัดไม่สามารถแจกแจงขอบเขตต่อเนื่องทั่วไป ความเท่ากันพอดีแบบทศนิยมลอยตัวอาจไม่น่าเชื่อถือสำหรับข้อมูลเข้าอื่น

สัญลักษณ์

$H_{i,ℓ}$: เซตศูนย์ของค่าก่อนกระตุ้นสำหรับหน่วย i ในชั้น ℓ
$N_0$: มิติข้อมูลเข้า

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

x

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.x = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { first, preactivation, onBoundary: preactivation === 0, outsideBoundary: preactivation !== 0, }

first = Math.max(0, input.x) ใช้: input.x
preactivation = first - 1 ใช้: first

ส่งกลับ

ผลลัพธ์ตัวอย่าง

first: 1
preactivation: 0
onBoundary: จริง
outsideBoundary: เท็จ

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ในเครือข่าย ReLU ลึก ค่าก่อนกระตุ้นเป็นแอฟไฟน์เป็นช่วง ดังนั้นเซตศูนย์โดยรวมไม่จำเป็นต้องเป็นไฮเปอร์เพลนเดียว ตัวอย่างมีข้อมูลเข้าหนึ่งค่าและสองการดำเนินการต่อเนื่อง outsideBoundary ตรวจสมาชิกในส่วนเติมเต็มของเซตศูนย์นี้ ต้นฉบับยังพิจารณาส่วนเติมเต็มของยูเนียนเหนือหลายหน่วยและชั้น

แหล่งอ้างอิง: ขอบเขตการกระตุ้น