คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

การแยกความเสี่ยงส่วนเกิน

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ขอบเขตการทำงานกับข้อมูลใหม่ · เชื่อมพฤติกรรมบนตัวอย่างกับความเสี่ยงประชากรภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / ขอบเขตการทำงานกับข้อมูลใหม่

ข้อมูลเข้าหรือสมมติฐาน: ชั้นฟังก์ชัน สมมติฐานการสุ่ม และพารามิเตอร์ขอบเขต
ผลลัพธ์หรือข้อสรุป: การเปรียบเทียบหรือขอบเขตความเสี่ยง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

อธิบาย: ความเสี่ยงและการประเมิน
อธิบาย: ฟังก์ชันเป้าหมาย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2 เรียนรู้จากตัวอย่าง · 1.2.1 หาพารามิเตอร์ที่เหมาะสม · 1.2.2 โครงข่ายแสดงคำตอบที่ต้องการได้หรือไม่ · ส่วนต้นฉบับเพิ่มเติม

ต้นฉบับแยกความเสี่ยงส่วนเกินเป็นความผิดพลาดการหาค่าเหมาะที่สุด ความผิดพลาดการวางนัยทั่วไป และความผิดพลาดการประมาณ พจน์การวางนัยทั่วไปปรากฏสองครั้งในขอบเขต

การแจกแจงสมมติมีเป้าหมาย 0 และ 1 ที่มีโอกาสเท่ากัน กลุ่มสมมติฐานมีตัวทำนายคงที่ 0 และ 1 โดยเลือกตัวทำนาย 0

การแยกนี้ระบุเหตุผลต่าง ๆ ที่กฎที่เรียนรู้อาจมีความเสี่ยงส่วนเกิน

ตัวอย่างสูตรต้นฉบับ

\begin{split}{\mathcal{R}}(f_{S})-{\mathcal{R}}^{*}&={\mathcal{R}}(f_{S})-\widehat{\mathcal{R}}_{S}(f_{S})+\widehat{\mathcal{R}}_{S}(f_{S})-\widehat{\mathcal{R}}_{S}(f^{*}_{\mathcal{F}})+\widehat{\mathcal{R}}_{S}(f^{*}_{\mathcal{F}})-{\mathcal{R}}(f^{*}_{\mathcal{F}})+{\mathcal{R}}(f^{*}_{\mathcal{F}})-{\mathcal{R}}^{*}\\ &\leq{\varepsilon}^{\mathrm{opt}}+2{\varepsilon}^{\mathrm{gen}}+{\varepsilon}^{\mathrm{approx}}\end{split}

ภาพประกอบ · คำนวณการแยกและขอบเขตสำหรับกลุ่มสมมติจำกัดหนึ่งกลุ่มและการแจกแจงที่ทราบ ไม่ได้พิสูจน์อสมการสำหรับกลุ่มทั่วไป

สัญลักษณ์

$ε^{opt}$: ผลต่างระหว่างความเสี่ยงตัวอย่างของกฎที่เลือกกับความเสี่ยงตัวอย่างที่ดีที่สุดในกลุ่ม
$ε^{gen}$: ช่องว่างสัมบูรณ์สูงสุดระหว่างความเสี่ยงประชากรกับตัวอย่างในกลุ่ม
$ε^{approx}$: ผลต่างระหว่างความเสี่ยงประชากรที่ดีที่สุดในกลุ่มกับความเสี่ยงประชากรเหมาะที่สุด

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

เป้าหมายตัวอย่างแรก

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.first = 0

ค่าเริ่มต้นในโค้ด

populationClassRisk = 0.5
optimalRisk = 0.25

คำนวณที่นี่

นิพจน์ผลลัพธ์: { empiricalZero, empiricalOne, classPopulationRisks: [populationClassRisk, populationClassRisk], oneSidedGap: Math.max( populationClassRisk - empiricalZero, populationClassRisk - empiricalOne, ), bestClassPrediction: ...

sample = [input.first, 0] ใช้: input.first
empiricalZero = empirical(0) ใช้: empirical
empiricalOne = empirical(1) ใช้: empirical
optimization = empiricalZero - Math.min(empiricalZero, empiricalOne) ใช้: empiricalZero, empiricalOne
generalization = Math.max( Math.abs(populationClassRisk - empiricalZero), Math.abs(populationClassRisk - empiricalOne), ) ใช้: populationClassRisk, empiricalZero, empiricalOne
approximation = populationClassRisk - optimalRisk ใช้: populationClassRisk, optimalRisk
excessRisk = populationClassRisk - optimalRisk ใช้: populationClassRisk, optimalRisk
pieces = [ populationClassRisk - empiricalZero, empiricalZero - empiricalZero, empiricalZero - populationClassRisk, approximation, ] ใช้: populationClassRisk, empiricalZero, approximation

ส่งกลับ

ผลลัพธ์ตัวอย่าง

empiricalZero: 0
empiricalOne: 1
classPopulationRisks: อาร์เรย์ (2 รายการ): [0.5, 0.5]
oneSidedGap: 0.5
bestClassPrediction: 0
pieces: อาร์เรย์ (4 รายการ): [0.5, 0, -0.5, 0.25]
excessRisk: 0.25
optimization: 0

… (11 รายการ)

JavaScript

const sample = [input.first, 0];
if (!sample.every((y) => y === 0 || y === 1))
  throw new Error("เป้าหมายต้องเป็น 0 หรือ 1");
const empirical = (prediction) =>
  sample.reduce((sum, y) => sum + (prediction - y) ** 2, 0) / sample.length;
const empiricalZero = empirical(0);
const empiricalOne = empirical(1);
const populationClassRisk = 0.5;
const optimalRisk = 0.25;
const optimization = empiricalZero - Math.min(empiricalZero, empiricalOne);
const generalization = Math.max(
  Math.abs(populationClassRisk - empiricalZero),
  Math.abs(populationClassRisk - empiricalOne),
);
const approximation = populationClassRisk - optimalRisk;
const excessRisk = populationClassRisk - optimalRisk;
const pieces = [
  populationClassRisk - empiricalZero,
  empiricalZero - empiricalZero,
  empiricalZero - populationClassRisk,
  approximation,
];
return {
  empiricalZero,
  empiricalOne,
  classPopulationRisks: [populationClassRisk, populationClassRisk],
  oneSidedGap: Math.max(
    populationClassRisk - empiricalZero,
    populationClassRisk - empiricalOne,
  ),
  bestClassPrediction: 0,
  pieces,
  excessRisk,
  optimization,
  generalization,
  approximation,
  bound: optimization + 2 * generalization + approximation,
};

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ต้นฉบับสมมติว่ามีตัวลดความเสี่ยงประชากรต่ำสุดในกลุ่มสมมติฐานสำหรับการแยกที่แสดง กลุ่มสมมติมีตัวลดความเสี่ยงประชากรสองตัวที่ดีเท่ากัน โค้ดเลือกตัวทำนาย 0 เป็น f*₍F₎ ค่าที่เหมาะที่สุดแบบไม่มีข้อจำกัดสำหรับความสูญเสียกำลังสองคือตัวทำนาย 1/2 ที่มีความเสี่ยง 1/4

แหล่งอ้างอิง: นิพจน์จากแหล่งต้นฉบับ