คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

แนวคิด / พื้นฐานการเรียนรู้

เครือข่าย ReLU สองหน่วย

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

กฎทำนายและชั้นของเครือข่าย · อธิบายหรือใช้กฎทำนาย ชั้น และพารามิเตอร์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 1.3 คำถามที่จะศึกษาต่อ

หน่วยซ่อนสองหน่วยแต่ละหน่วยใช้ ReLU กับข้อมูลเข้าถ่วงน้ำหนักบวกไบแอส ผลลัพธ์คือผลรวมถ่วงน้ำหนักของทั้งสอง

เครือข่ายเล็กนี้แสดงว่าพารามิเตอร์กำหนดค่าทำนายอย่างไร

ตัวอย่างสูตรต้นฉบับ

Φ(x,θ)=θ1ϱR(θ3x+θ5)+θ2ϱR(θ4x+θ6),θ∈R6,x∈R,\Phi(x,\theta)=\theta_{1}{\varrho_{R}}(\theta_{3}x+\theta_{5})+\theta_{2}{\varrho_{R}}(\theta_{4}x+\theta_{6}),\qquad\theta\in{\mathbb{R}}^{6},\quad x\in{\mathbb{R}},

ตรงตามนิยาม · ผลลัพธ์ตรงตามการคำนวณสำหรับข้อมูลเข้าสมมติจำนวนจำกัดนี้ ยกเว้นการปัดเศษตามปกติของคอมพิวเตอร์

สัญลักษณ์

θθ
พารามิเตอร์จำนวนจริงหกค่า
xx
ข้อมูลเข้าจำนวนจริง

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

  • input.x = 2

ค่าเริ่มต้นในโค้ด

  • theta = [1, 2, 1, -1, 0, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { units, output: theta[0] * units[0] + theta[1] * units[1] }

  • units = [ Math.max(0, theta[2] * input.x + theta[4]), Math.max(0, theta[3] * input.x + theta[5]), ] ใช้: theta, input.x

ส่งกลับ

ผลลัพธ์ตัวอย่าง
units
อาร์เรย์ (2 รายการ): [2, 0]
output
2

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

เปลี่ยนข้อมูลเข้าแล้วเรียกใช้โค้ดเดิมอีกครั้ง ผลลัพธ์ที่แสดงใช้ค่าข้างต้น

แหล่งอ้างอิง: นิพจน์จากแหล่งต้นฉบับ