คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

เกรเดียนต์พารามิเตอร์

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

การจำแนกทำนายสามชนิด ริดจ์ทำนายมวลเป็นกรัมจากข้อมูลเดียวกัน แต่เป็นคนละแบบจำลอง ค่าทำนายชุดฝึกส่งไปยังฟังก์ชันเป้าหมาย ค่าทำนายชุดทดสอบ 102 แถวแยกไว้และไม่ปรับน้ำหนัก

ฟังก์ชันและอนุพันธ์ · อธิบายการจับคู่และการเปลี่ยนแปลงของผลลัพธ์

เวกเตอร์โครงการมีสองคุณลักษณะ เมทริกซ์ฝึกมี n แถวและสองคอลัมน์ ใช้เครื่องมือเมื่อสมมติฐานตรงกัน

งานแถวฝึกขั้นฝึกค่าปรับ αรหัสแถวทดสอบ

เกรเดียนต์

ข้อมูลเข้า: ฟังก์ชันเป้าหมาย: ≈0.237
ผลลัพธ์: [≈0.004056, ≈0.01907, ≈0.008327, ≈-0.008829, ≈-0.0138, ≈0.01504, ≈0.004773, ≈-0.005269, ≈-0.02337]

การดำเนินการของโครงการ

การคำนวณโครงการใช้ข้อมูลชุดนี้ สูตรและตัวอย่างต้นฉบับอยู่ด้านล่าง การแก้โค้ดมีผลเฉพาะหน้านี้ ส่วนการตั้งค่าโครงการส่งต่อระหว่างหน้า

ฟังก์ชันเป้าหมาย → เกรเดียนต์ → การปรับ

ข้อมูลเข้าโครงการ

แสดงสามรายการแรก การดำเนินการรับอาร์เรย์ทั้งหมด ค่าตัวอย่างปัดเศษแล้ว การดำเนินการใช้ค่าเต็ม

input.features · คุณลักษณะ: [[≈-1.946, ≈-1.283], [≈-0.6098, ≈-1.029], [≈-0.4454, ≈0.9162]] … (12 รายการ)
input.targets · ข้อมูลสังเกต: [0, 1, 2] … (12 รายการ)
input.weights · แบบจำลอง: [≈-0.2895, ≈-2.052, ≈-1.016] … (9 รายการ)
input.alpha · การตั้งค่าโครงการหรือค่าคงที่: 0.001
input.task · การตั้งค่าโครงการหรือค่าคงที่: classification

JavaScript

ผลลัพธ์

[≈0.004056, ≈0.01907, ≈0.008327] … (9 รายการ)

บทบาท: เครื่องมือคณิตศาสตร์ / ฟังก์ชันและอนุพันธ์

ข้อมูลเข้าหรือสมมติฐาน: ฟังก์ชันและอาร์กิวเมนต์
ผลลัพธ์หรือข้อสรุป: ค่าหรืออนุพันธ์

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: กฎทำนายและชั้นของเครือข่าย
สนับสนุน: การเรียนรู้และการปรับพารามิเตอร์

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2.1 หาพารามิเตอร์ที่เหมาะสม · 1.2.3 ใช้ได้กับตัวอย่างใหม่หรือไม่ · 2.1 มองผ่านความคล้ายคลึง

เกรเดียนต์พารามิเตอร์แสดงอนุพันธ์ย่อยของผลลัพธ์เทียบกับพารามิเตอร์โครงข่ายแต่ละตัว

มันอธิบายว่าผลลัพธ์ตอบสนองต่อการเปลี่ยนพารามิเตอร์อย่างไร

ตัวอย่างสูตรต้นฉบับ

\nabla_{\theta}\Phi_{{a}}(x,\theta)

ตัวอย่างประกอบ · เกรเดียนต์นี้แม่นตรงสำหรับโครงข่ายเชิงเส้นที่เลือก โครงข่ายอื่นต้องใช้อนุพันธ์ของตนเอง

สัญลักษณ์

$Φ$: ฟังก์ชันโครงข่าย
$θ$: เวกเตอร์พารามิเตอร์ของฟังก์ชัน
$∇θΦ$: เกรเดียนต์เทียบกับพารามิเตอร์
$x$: ข้อมูลป้อนเข้าโครงข่าย

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

ค่าเริ่มต้นในโค้ด

x = 3
theta = [2, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { x, theta, output, gradient }

output = theta[0] * x + theta[1] ใช้: theta, x
gradient = [x, 1] ใช้: x

ส่งกลับ

ผลลัพธ์ตัวอย่าง

x: 3
theta: อาร์เรย์ (2 รายการ): [2, 1]
output: 7
gradient: อาร์เรย์ (2 รายการ): [3, 1]

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ค่าตัวเลขสร้างขึ้น เกรเดียนต์นี้แม่นตรงสำหรับโครงข่ายเชิงเส้นที่เลือก โครงข่ายอื่นต้องใช้อนุพันธ์ของตนเอง

แหล่งอ้างอิง: สัญกรณ์ในข้อความ