คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

แทนที่น้ำหนักขาเข้าที่ไม่ได้ใช้

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

กฎทำนายและชั้นของเครือข่าย · อธิบายหรือใช้กฎทำนาย ชั้น และพารามิเตอร์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ทำนายผล / กฎทำนายและชั้นของเครือข่าย

ข้อมูลเข้าหรือสมมติฐาน: ข้อมูลเข้า พารามิเตอร์ และกฎ
ผลลัพธ์หรือข้อสรุป: ผลทำนาย ค่าของชั้น หรือคำอธิบายแบบจำลอง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 5.1 รูปร่างของค่าความผิดพลาด

หน่วยซ่อนที่มีน้ำหนักผลลัพธ์เป็นศูนย์เปลี่ยนพารามิเตอร์ขาเข้าได้โดยไม่เปลี่ยนผลลัพธ์ของโครงข่าย

ปริมาณเหล่านี้เชื่อมพารามิเตอร์ของโครงข่ายกับความสูญเสียและการหาค่าเหมาะที่สุด

ตัวอย่างสูตรต้นฉบับ

\hat{\theta}^{(1)}_{j}\coloneqq\begin{cases}\theta^{(1)}_{j}&\text{สำหรับ }j\in[n/2],\\ (\theta_{\min}^{(1)})_{j}&\text{สำหรับ }j\in[n]\setminus[n/2].\end{cases}

ภาพประกอบ · ข้อมูลเข้าสมมติจำนวนจำกัดแสดงนิพจน์นี้ ไม่ได้พิสูจน์เอกลักษณ์ ขอบเขต หรือข้ออ้างการมีอยู่ทั่วไป

สัญลักษณ์

$θ̂⁽¹⁾$: เวกเตอร์พารามิเตอร์ซ่อนที่นำมาแทน
$θmin⁽¹⁾$: พารามิเตอร์ชั้นแรกของค่าต่ำสุดที่เลือก
$n$: จำนวนหน่วยซ่อนที่เป็นจำนวนคู่
$j$: ดัชนีหน่วยซ่อน

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

คุณลักษณะที่แทนที่

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.feature = 3

ค่าเริ่มต้นในโค้ด

feature1 = 2
oldFeature2 = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { before: feature1 + 0 * oldFeature2, after: feature1 + 0 * newFeature2 }

newFeature2 = input.feature ใช้: input.feature

ส่งกลับ

ผลลัพธ์ตัวอย่าง

before: 2
after: 2

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ตัวอย่างสมมตินี้อธิบายขั้นน้ำหนักผลลัพธ์ศูนย์ที่ใช้ในการสร้างเส้นทางของต้นฉบับ การแทนที่ในนิพจน์ต้นฉบับขึ้นกับค่าต่ำสุดที่เลือกและคุณลักษณะซ้ำ

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ