คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ชั้นประชิดที่สมดุล

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ทฤษฎีการหาค่าเหมาะสม · ศึกษาการลู่เข้าและรูปทรงของความสูญเสียภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / ทฤษฎีการหาค่าเหมาะสม

ข้อมูลเข้าหรือสมมติฐาน: ฟังก์ชันเป้าหมาย กฎการปรับ และสมมติฐาน
ผลลัพธ์หรือข้อสรุป: ข้อความเกี่ยวกับการลู่เข้าหรือรูปทรง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

อธิบาย: การเรียนรู้และการปรับพารามิเตอร์
อธิบาย: การกำหนดค่าเริ่มต้น

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 2.3 เส้นทางการฝึกมีผล

ต้นฉบับเชื่อมการเปลี่ยนเมทริกซ์น้ำหนักชั้นประชิดภายใต้การไหลตามเกรเดียนต์ ในกรอบที่ระบุ ผลต่างของนอร์มโฟรบีเนียสกำลังสองคงที่

ตัวอย่างใช้ชั้นเชิงเส้นสเกลาร์สองชั้น ผลลัพธ์ uvx และตัวอย่างความสูญเสียกำลังสองหนึ่งตัว

ความเท่ากันเชื่อมการเปลี่ยนของชั้นข้างเคียงระหว่างการไหลตามเกรเดียนต์

ตัวอย่างสูตรต้นฉบับ

\operatorname{diag}\big(\varrho^{\prime}(\Phi^{(\ell)})\big)W^{(\ell)}(t)\Big(\frac{{\mathrm{d}W^{(\ell)}(t)}}{\mathrm{d}t}\Big)^{T}=\Big(\frac{{\mathrm{d}W^{(\ell+1)}(t)}}{\mathrm{d}t}\Big)^{T}W^{(\ell+1)}(t)\operatorname{diag}\big(\varrho^{\prime}(\Phi^{(\ell)})\big).

ภาพประกอบ · ตรวจตัวอย่างเชิงเส้นสเกลาร์ ณ ขณะหนึ่ง ไม่ได้พิสูจน์เอกลักษณ์เมทริกซ์หรือพฤติกรรมเครือข่ายนอกสมมติฐานที่ระบุ

สัญลักษณ์

$W^{(ℓ)}$: เมทริกซ์น้ำหนักในชั้น ℓ
$ρ^{\prime}$: อนุพันธ์ฟังก์ชันกระตุ้นที่ค่าก่อนกระตุ้นที่เกี่ยวข้อง

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

น้ำหนักแรกน้ำหนักที่สองข้อมูลเข้าเป้าหมาย

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.u = 2
input.v = 3
input.x = 1
input.target = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { prediction, residual, uRate, vRate, left, right, normDifferenceRate: 2 * right - 2 * left, }

u = input.u ใช้: input.u
v = input.v ใช้: input.v
x = input.x ใช้: input.x
target = input.target ใช้: input.target
prediction = u * v * x ใช้: u, v, x
residual = prediction - target ใช้: prediction, target
uRate = -2 * residual * v * x ใช้: residual, v, x
vRate = -2 * residual * u * x ใช้: residual, u, x

มีนิพจน์เพิ่มเติมในโค้ด

ส่งกลับ

ผลลัพธ์ตัวอย่าง

prediction: 6
residual: 5
uRate: -30
vRate: -20
left: -60
right: -60
normDifferenceRate: 0

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ต้นฉบับพิจารณาเครือข่ายไม่มีไบแอสที่ให้ผลลัพธ์สเกลาร์และเปลี่ยนตามการไหลตามเกรเดียนต์ ด้วยฟังก์ชันกระตุ้นที่เป็นไปตาม ρ(z)=ρ′(z)z ณ จุดที่ใช้ โดยอนุมานเอกลักษณ์ชั้นประชิดและการคงผลต่างนอร์มโฟรบีเนียสกำลังสอง ตัวอย่างใช้ฟังก์ชันกระตุ้นเชิงเส้นที่มีอนุพันธ์ 1

แหล่งอ้างอิง: นิพจน์จากแหล่งต้นฉบับ