คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ผลรวมฟังก์ชันริดจ์

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

กฎทำนายและชั้นของเครือข่าย · อธิบายหรือใช้กฎทำนาย ชั้น และพารามิเตอร์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: ทำนายผล / กฎทำนายและชั้นของเครือข่าย

ข้อมูลเข้าหรือสมมติฐาน: ข้อมูลเข้า พารามิเตอร์ และกฎ
ผลลัพธ์หรือข้อสรุป: ผลทำนาย ค่าของชั้น หรือคำอธิบายแบบจำลอง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

มาจาก

ใช้โดย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 3.1 กฎที่ขึ้นกับระยะทาง

แต่ละพจน์ใช้ฟังก์ชันตัวแปรเดียวกับผลคูณจุด การหมุนที่เหมาะสมวางทิศ wⱼ ในพิกัดแรกได้ ทำให้พจน์เดียวกันขึ้นกับพิกัดนั้นเท่านั้น

ตัวอย่างใช้ทิศหนึ่งหน่วยสองทิศในสองมิติและ ReLU สำหรับทั้งสองพจน์

การแทนนี้ใช้ในการให้เหตุผลฟูเรียร์ของต้นฉบับสำหรับเครือข่ายตื้น

ตัวอย่างสูตรต้นฉบับ

\Phi=\sum_{j=1}^{n}\varrho_{j}(\langle w_{j},\cdot\rangle)=\sum_{j=1}^{n}(\varrho_{j}\otimes\mathds{1}_{{\mathbb{R}}^{d-1}})\circ R_{w_{j}}.

ภาพประกอบ · ตัวอย่างใช้การหมุนที่เลือกชัดเจนสองแบบและค่าจริง ไม่ได้พิสูจน์ผลเรื่องซัพพอร์ตฟูเรียร์สำหรับเครือข่ายทั่วไป

สัญลักษณ์

$w_j$: ทิศหนึ่งหน่วยใน ℝᵈ
$ρ_j$: ฟังก์ชันตัวแปรเดียวที่สัมพันธ์กับหน่วยซ่อน j
$R_{w_j}$: การหมุนที่นำ wⱼ ไปยังทิศพิกัดแรก

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

พิกัดแรกพิกัดที่สอง

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.x1 = 1
input.x2 = 2

คำนวณที่นี่

นิพจน์ผลลัพธ์: { directTerms, rotatedTerms, directSum: directTerms[0] + directTerms[1], rotatedSum: rotatedTerms[0] + rotatedTerms[1], }

x = [input.x1, input.x2] ใช้: input.x1, input.x2
directTerms = [Math.max(0, x[0]), Math.max(0, x[1])] ใช้: x
rotated1 = [x[0], x[1]] ใช้: x
rotated2 = [x[1], -x[0]] ใช้: x
rotatedTerms = [Math.max(0, rotated1[0]), Math.max(0, rotated2[0])] ใช้: rotated1, rotated2

ส่งกลับ

ผลลัพธ์ตัวอย่าง

directTerms: อาร์เรย์ (2 รายการ): [1, 2]
rotatedTerms: อาร์เรย์ (2 รายการ): [1, 2]
directSum: 3
rotatedSum: 3

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ต้นฉบับรวมมาตราส่วนและพารามิเตอร์ที่เหลือไว้ในฟังก์ชัน ρⱼ แต่ละตัวและกำหนด wⱼ เป็นเวกเตอร์หนึ่งหน่วย การหมุนแปลงแต่ละทิศไปยังเวกเตอร์ฐานแรก ตัวประกอบเทนเซอร์คงที่ในพิกัดที่เหลือ

แหล่งอ้างอิง: นิพจน์จากแหล่งต้นฉบับ