คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

โครงข่ายเรลูสองชั้น

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

กฎทำนายและชั้นของเครือข่าย · อธิบายหรือใช้กฎทำนาย ชั้น และพารามิเตอร์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ทำนายผล / กฎทำนายและชั้นของเครือข่าย

ข้อมูลเข้าหรือสมมติฐาน: ข้อมูลเข้า พารามิเตอร์ และกฎ
ผลลัพธ์หรือข้อสรุป: ผลทำนาย ค่าของชั้น หรือคำอธิบายแบบจำลอง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 6.5 ตัดการเชื่อมต่อที่ไม่จำเป็น

บวกคุณลักษณะซ่อนเรลูที่ถ่วงน้ำหนักผลลัพธ์

โครงข่ายนี้เป็นจุดเริ่มต้นของการให้เหตุผลเรื่องการตัดแต่งในต้นฉบับ

ตัวอย่างสูตรต้นฉบับ

\Phi_{a}(\cdot,\theta)=\sum_{i=1}^{n}w^{(2)}_{i}{\varrho_{R}}(\langle(w_{i}^{(1)},\cdot\rangle+b_{i}^{(1)})),

แม่นตรง · การประเมินหนึ่งโครงข่ายไม่ได้พิสูจน์หลักประกันการตัดแต่ง

สัญลักษณ์

$wᵢ⁽¹⁾,bᵢ⁽¹⁾$: น้ำหนักและไบแอสขาเข้าของหน่วยซ่อน i
$wᵢ⁽²⁾$: น้ำหนักผลลัพธ์ของหน่วย i
$n$: จำนวนหน่วยซ่อนที่เป็นบวก
$ϱR$: ฟังก์ชันกระตุ้นเรลู

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ข้อมูลป้อนเข้า

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.x = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { hidden, output: 2 * hidden[0] - hidden[1] }

x = input.x ใช้: input.x
hidden = [Math.max(0, x), Math.max(0, -x + 1)] ใช้: x

ส่งกลับ

ผลลัพธ์ตัวอย่าง

hidden: อาร์เรย์ (2 รายการ): [1, 0]
output: 2

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

แบบจำลองที่สร้างขึ้นมีสองหน่วยและข้อมูลป้อนเข้าแบบสเกลาร์

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ