คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

คุณลักษณะ เมทริกซ์แกรม และเกรเดียนต์

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

เคอร์เนลและการทำให้เป็นเชิงเส้น · เชื่อมเกรเดียนต์พารามิเตอร์หรือคุณลักษณะกับเมทริกซ์เคอร์เนล

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / เคอร์เนลและการทำให้เป็นเชิงเส้น

ข้อมูลเข้าหรือสมมติฐาน: คุณลักษณะหรือเกรเดียนต์พารามิเตอร์
ผลลัพธ์หรือข้อสรุป: ค่าเคอร์เนลหรือความสัมพันธ์ของเมทริกซ์

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: ทฤษฎีการหาค่าเหมาะสม

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 5.2 เมื่อพารามิเตอร์เปลี่ยนเพียงเล็กน้อย

เวกเตอร์คุณลักษณะเก็บค่าของหน่วยซ่อนหนึ่งหน่วยบนแต่ละตัวอย่าง นำผลคูณภายนอกของแต่ละหน่วยมาบวกเพื่อสร้างเมทริกซ์แกรม

ปริมาณเหล่านี้เชื่อมพารามิเตอร์ของโครงข่ายกับความสูญเสียและการหาค่าเหมาะที่สุด

ตัวอย่างสูตรต้นฉบับ

\bar{K}_{\Theta}=\sum_{k=1}^{n}v_{k}v_{k}^{T}\qquad\text{เมื่อมี}\quad v_{k}=\left(\varrho\left(\left\langle\Theta^{(1)}_{k},\begin{bmatrix}x^{(i)}\\ 1\end{bmatrix}\right\rangle\right)\right)_{i=1}^{m}\in{\mathbb{R}}^{m},\quad k\in[n].

ภาพประกอบ · ข้อมูลเข้าสมมติจำนวนจำกัดแสดงนิพจน์นี้ ไม่ได้พิสูจน์เอกลักษณ์ ขอบเขต หรือข้ออ้างการมีอยู่ทั่วไป

สัญลักษณ์

$K̄$: เมทริกซ์แกรมขนาด m×m ของเกรเดียนต์ตามน้ำหนักผลลัพธ์
$vₖ$: เวกเตอร์ความยาว m ของคุณลักษณะซ่อนตัวที่ k บนข้อมูลเข้าฝึก
$n,m$: จำนวนเต็มบวก: หน่วยซ่อนและตัวอย่างฝึก
$Θ$: พารามิเตอร์โครงข่าย ณ การเริ่มต้น

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

คุณลักษณะที่สอง

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.feature = 2

ค่าเริ่มต้นในโค้ด

errors = [1, 1]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { gram, quadratic, outputWeightGradientSquared: quadratic }

features = [ [1, 0], [0, input.feature], ] ใช้: input.feature
gram = features.map((a) => features.map((b) => a.reduce((sum, v, i) => sum + v * b[i], 0)), ) ใช้: features
quadratic = errors.reduce( (sum, e, i) => sum + e * gram[i].reduce((a, v, j) => a + v * errors[j], 0), 0, ) ใช้: errors, gram

ส่งกลับ

ผลลัพธ์ตัวอย่าง

gram: อาร์เรย์ (2 รายการ): [อาร์เรย์ (2 รายการ): [1, 0], อาร์เรย์ (2 รายการ): [0, 4]]
quadratic: 5
outputWeightGradientSquared: 5

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

มีสองตัวอย่าง ดังนั้นตัวประกอบเกรเดียนต์ของความสูญเสียกำลังสอง 4/m² เท่ากับ 1 เมทริกซ์แกรมสร้างจากเวกเตอร์คุณลักษณะบนตัวอย่าง หรือเทียบเท่ากับเมทริกซ์ผลคูณภายในของเกรเดียนต์ตามน้ำหนักผลลัพธ์สำหรับแต่ละตัวอย่าง

แหล่งอ้างอิง: นิพจน์ในต้นฉบับ