คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

บล็อกอนุพันธ์อันดับสอง

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ฟังก์ชันและอนุพันธ์ · อธิบายการจับคู่และการเปลี่ยนแปลงของผลลัพธ์

เวกเตอร์โครงการมีสองคุณลักษณะ เมทริกซ์ฝึกมี n แถวและสองคอลัมน์ ใช้เครื่องมือเมื่อสมมติฐานตรงกัน

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เครื่องมือคณิตศาสตร์ / ฟังก์ชันและอนุพันธ์

ข้อมูลเข้าหรือสมมติฐาน: ฟังก์ชันและอาร์กิวเมนต์
ผลลัพธ์หรือข้อสรุป: ค่าหรืออนุพันธ์

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: กฎทำนายและชั้นของเครือข่าย
สนับสนุน: การเรียนรู้และการปรับพารามิเตอร์

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

โครงข่ายตื้นเป็นเชิงเส้นตามน้ำหนักผลลัพธ์ อนุพันธ์อันดับสองตามน้ำหนักผลลัพธ์จึงเป็นศูนย์ ส่วนอนุพันธ์ผสมอาจไม่เป็นศูนย์

บล็อกเฮสเซียนบอกว่าเกรเดียนต์ของพารามิเตอร์อาจเปลี่ยนอย่างไรใกล้ค่าเริ่มต้น

ตัวอย่างสูตรต้นฉบับ

{\mathbbm{E}}\Bigg[\Big(\frac{\partial^{2}\Phi(x,\Theta)}{\partial\theta^{(2)}_{i}\partial\theta^{(2)}_{j}}\Big)^{2}\Bigg]=0,\quad{\mathbbm{E}}\Bigg[\Big(\frac{\partial^{2}\Phi(x,\Theta)}{\partial\theta^{(2)}_{i}\partial(\theta^{(1)}_{j})_{k}}\Big)^{2}\Bigg]\lesssim\delta_{i,j},\quad\text{และ}\quad{\mathbbm{E}}\Bigg[\Big(\frac{\partial^{2}\Phi(x,\Theta)}{\partial(\theta^{(1)}_{i})_{k}\partial(\theta^{(1)}_{j})_{\ell}}\Big)^{2}\Bigg]\lesssim\frac{\delta_{i,j}}{n},

ภาพประกอบ · การแจกแจงค่าเริ่มต้นแบบจำกัดไม่ได้พิสูจน์ขอบเขตค่าคาดหมายแบบเกาส์ของต้นฉบับ

สัญลักษณ์

$Φ$: ผลลัพธ์โครงข่ายตื้น
$Θ$: การเริ่มต้นแบบสุ่ม
$𝔼$: ค่าคาดหมายตามการแจกแจงเริ่มต้น
$δᵢⱼ$: 1 เมื่อ i = j และ 0 ในกรณีอื่น
$n$: จำนวนหน่วยซ่อน
$≲$: อสมการถึงค่าคงที่ภายใต้สมมติฐานต้นฉบับ

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ข้อมูลเข้า

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.x = 1

ค่าเริ่มต้นในโค้ด

samples = [-1, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { outputOutputExpectation: mean(outputOutputSquares), mixedExpectation: mean(mixedSquares), incomingExpectation: mean(incomingIncomingSquares), delta: 1, n: 1, chosenConstant: 64, }

x = input.x ใช้: input.x
outputOutputSquares = samples.map(() => 0) ใช้: samples
mixedSquares = samples.map(() => (2 * x * x) ** 2) ใช้: samples, x
incomingIncomingSquares = samples.map((a) => (2 * a * x * x) ** 2) ใช้: samples, x

ส่งกลับ

ผลลัพธ์ตัวอย่าง

outputOutputExpectation: 0
mixedExpectation: 4
incomingExpectation: 4
delta: 1
n: 1
chosenConstant: 64

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

การแจกแจงเริ่มต้นจำกัดกำหนดน้ำหนักผลลัพธ์ a = −1 หรือ 1 ด้วยโอกาสเท่ากัน น้ำหนักขาเข้า w = 1 คงที่ และ Φ = a(wx)² ฟังก์ชันกระตุ้น z² ราบเรียบและไม่แอฟไฟน์ ที่ w = 1 อนุพันธ์อันดับสองผลลัพธ์–ผลลัพธ์เป็น 0 อนุพันธ์ผสมเป็น 2x² และอนุพันธ์ขาเข้า–ขาเข้าเป็น 2ax² ค่าคาดหมายแน่นอนของกำลังสองคือ 0, 4x⁴, 4x⁴ สำหรับช่วง x ที่แสดง ค่าคงที่สมมติ 64 เป็นขอบเขตของทั้งสอง ไม่ใช่ค่าคงที่ในต้นฉบับ ต้นฉบับใช้การเริ่มต้นเกาส์อิสระที่มีความแปรปรวน 1/n ต่างจากตัวอย่างจำกัดนี้

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ