คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

การปรับมาตราส่วนค่าเริ่มต้นที่พิมพ์

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ชั้นแบบจำลองและโครงสร้าง · อธิบายกลุ่มของกฎ ขนาด และสมบัติเชิงโครงสร้าง

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 3.3 วิธีอื่นในการวัดความสามารถในการแทนฟังก์ชัน

บทความพิมพ์ข้ออ้างเรื่องการปรับมาตราส่วนในการแจกแจงเมื่อส่วนเบี่ยงเบนมาตรฐานของน้ำหนักและไบแอสทุกตัวคูณด้วย σ สำหรับชั้นซ่อนสองชั้นที่มีไบแอสเกาส์ไม่เป็นศูนย์ การคำนวณโมเมนต์อันดับสองให้คำตอบต่างกัน

เมื่อ σ=2, n=1 และข้อมูลเข้า x=0 โมเมนต์อันดับสองจริงเป็น 6 ส่วนการคูณผลลัพธ์ชั้นสองฐานด้วย σ² ให้โมเมนต์อันดับสอง 12

ความไม่ตรงกันสำคัญเพราะข้อความความยาววิถีที่พิมพ์ถัดไปอาศัยข้ออ้างการปรับมาตราส่วนนี้

ตัวอย่างสูตรต้นฉบับ

\bar{\Phi}^{(\ell)}(\cdot,\Theta_{\sigma})\sim\sigma^{\ell}\bar{\Phi}^{(\ell)}(\cdot,\Theta_{1}),

ภาพประกอบ · การคำนวณโมเมนต์อันดับสองหักล้างการปรับมาตราส่วนการแจกแจงค่ากระตุ้นทั่วไปที่พิมพ์ในกรณีนี้ แต่เพียงอย่างเดียวไม่ได้หักล้างความเท่ากันของความยาววิถีคาดหมายที่แยกต่างหาก เส้นโค้งไบแอสศูนย์เป็นกรณีเฉพาะกำหนดแน่นอน ไม่ใช่การทดลองเกาส์ของต้นฉบับ

สัญลักษณ์

$σ$: ตัวประกอบบวกที่คูณส่วนเบี่ยงเบนมาตรฐานในการกำหนดค่าเริ่มต้นที่ระบุ
$Θ_1,Θ_σ$: พารามิเตอร์เครือข่ายสุ่มฐานและที่ปรับมาตราส่วน
$ℓ$: ดัชนีชั้น ตัวอย่างโต้แย้งใช้ ℓ=2

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

มาตราส่วน σ

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.sigma = 2

ค่าเริ่มต้นในโค้ด

zeroBiasBaselineLength = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { actualSecondMoment, claimedScaledSecondMoment, momentsMatch: actualSecondMoment === claimedScaledSecondMoment, zeroBiasBaselineLength, zeroBiasScaledLength, }

sigma = input.sigma ใช้: input.sigma
actualSecondMoment = sigma ** 2 / 2 + sigma ** 4 / 4 ใช้: sigma
claimedScaledSecondMoment = (3 * sigma ** 4) / 4 ใช้: sigma
zeroBiasScaledLength = sigma ** 2 ใช้: sigma

ส่งกลับ

ผลลัพธ์ตัวอย่าง

actualSecondMoment: 6
claimedScaledSecondMoment: 12
momentsMatch: เท็จ
zeroBiasBaselineLength: 1
zeroBiasScaledLength: 4

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

PDF ระบุว่าน้ำหนักเกาส์อิสระที่มีศูนย์กลางมีความแปรปรวน 1/n และ σ²/n ส่วนไบแอสมีความแปรปรวน 1 และ σ² สำหรับ n=1 ชั้นซ่อนสองชั้นและ x=0 สมมาตรให้ E[ReLU(Z)²]=Var(Z)/2 สำหรับ Z เกาส์ที่มีศูนย์กลาง การกำหนดเงื่อนไขบนค่ากระตุ้นแรกให้ σ²/2+σ⁴/4 สำหรับค่ากระตุ้นที่สองที่ปรับมาตราส่วน โมเมนต์อันดับสองฐานคือ 3/4 และการคูณผลลัพธ์นั้นด้วย σ² จะให้ 3σ⁴/4 ทั้งสองต่างกันเมื่อ σ=2 ข้อความถัดไปอ้างความยาวเส้นโค้งคาดหมาย σ^ℓc แต่ตัวอย่างโต้แย้งเอกลักษณ์การแจกแจงก่อนหน้านี้ไม่ได้ยืนยันว่าข้อความความยาวที่แยกต่างหากล้มเหลวหรือไม่ เพื่อเปรียบเทียบ โค้ดยังให้เส้นโค้งกำหนดแน่นอนแบบไบแอสศูนย์ t↦t ผ่านชั้นสเกลาร์สองชั้นที่น้ำหนัก σ ซึ่งความยาวเป็น σ² เท่าของความยาวฐาน นี่เป็นเพียงกรณีพิเศษ ไม่ใช่ข้อเสนอแก้ไข

แหล่งอ้างอิง: การปรับมาตราส่วนค่าเริ่มต้นที่พิมพ์