คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ความเท่ากันไบแอส–ความแปรปรวนที่พิมพ์ไว้

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ขอบเขตการทำงานกับข้อมูลใหม่ · เชื่อมพฤติกรรมบนตัวอย่างกับความเสี่ยงประชากรภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / ขอบเขตการทำงานกับข้อมูลใหม่

ข้อมูลเข้าหรือสมมติฐาน: ชั้นฟังก์ชัน สมมติฐานการสุ่ม และพารามิเตอร์ขอบเขต
ผลลัพธ์หรือข้อสรุป: การเปรียบเทียบหรือขอบเขตความเสี่ยง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

อธิบาย: ความเสี่ยงและการประเมิน
อธิบาย: ฟังก์ชันเป้าหมาย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 2.4 การลดลงครั้งที่สองของความผิดพลาด

บทความพิมพ์นอร์ม L² โดยไม่ยกกำลังสองในสายสมการนี้ ตัวอย่างหนึ่งมิติอย่างง่ายให้ค่าของปริมาณกลางและขวาที่พิมพ์ต่างกัน

ให้ X เป็น ±1 ด้วยโอกาสเท่ากัน พารามิเตอร์จริงเป็นศูนย์ และสัญญาณรบกวนอิสระที่มีศูนย์กลางเป็น ±a ด้วยโอกาสเท่ากัน เมื่อมีตัวอย่างฝึกหนึ่งตัว ความชันที่ปรับได้คือสัญญาณรบกวนหารด้วย X

ตัวอย่างตรวจความเท่ากันที่พิมพ์โดยใช้ตัวแปรสุ่มที่กำหนดครบถ้วน

ตัวอย่างสูตรต้นฉบับ

\begin{split}{\mathbbm{E}}[{\mathcal{R}}(\widehat{f}_{S})|(X^{(i)})_{i=1}^{m}]-{\mathcal{R}}^{*}&={\mathbbm{E}}[\|\widehat{f}_{S}-f^{*}\|_{L^{2}({\mathbbm{P}}_{X})}|(X^{(i)})_{i=1}^{m}]\\ &=(\theta^{*})^{T}P{\mathbbm{E}}[XX^{T}]P\theta^{*}+{\mathbbm{E}}[\nu^{2}]{\operatorname{Tr}}\big(\Sigma^{+}{\mathbbm{E}}[XX^{T}]\big),\end{split}

ตรงตามนิยาม · ตรวจกรณีเฉพาะของนิพจน์ที่แสดง ไม่ได้ระบุว่าควรแก้อย่างไรหรือหักล้างการแยกไบแอส–ความแปรปรวนทั่วไป

สัญลักษณ์

$X$: ข้อมูลเข้าจำนวนจริงที่มีศูนย์กลาง เป็น ±1 ด้วยโอกาสเท่ากันในตัวอย่าง
$ν$: สัญญาณรบกวนอิสระที่มีศูนย์กลาง เป็น ±a ด้วยโอกาสเท่ากัน
$\hat f_S$: ตัวทำนายกำลังสองน้อยสุดเชิงประจักษ์ที่มีนอร์มต่ำสุด

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

แอมพลิจูดสัญญาณรบกวน a

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.amplitude = 2

ค่าเริ่มต้นในโค้ด

bias = 0

คำนวณที่นี่

นิพจน์ผลลัพธ์: { conditionalExpectedNorm, excessRisk, bias, variance, sameAsPrintedMiddle: conditionalExpectedNorm === excessRisk, }

a = input.amplitude ใช้: input.amplitude
conditionalExpectedNorm = a ใช้: a
excessRisk = a * a ใช้: a
variance = a * a ใช้: a

ส่งกลับ

ผลลัพธ์ตัวอย่าง

conditionalExpectedNorm: 2
excessRisk: 4
bias: 0
variance: 4
sameAsPrintedMiddle: เท็จ

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ให้ d=m=1 พารามิเตอร์จริงเป็นศูนย์ X เป็น ±1 อย่างสม่ำเสมอ และสัญญาณรบกวนเป็น ±a อย่างสม่ำเสมอโดยอิสระจาก X เมทริกซ์ตัวอย่างเดี่ยวและตัวผกผันเทียมต่างเป็น 1 การฉายบนเคอร์เนลจึงเป็นศูนย์ ความชันที่ปรับได้มีค่าสัมบูรณ์ a ดังนั้นนอร์มทำนาย L² เป็น a ส่วนความเสี่ยงกำลังสองส่วนเกินและพจน์ความแปรปรวนเป็น a² เมื่อ a=2 ค่าเหล่านี้คือ 2 และ 4 การคำนวณพิจารณานิพจน์ตามที่พิมพ์ ไม่สมมติว่าผู้เขียนตั้งใจอย่างไร

แหล่งอ้างอิง: นิพจน์ไบแอส–ความแปรปรวนที่พิมพ์