คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ตัวอย่างการทำให้สมมาตรแบบจำกัด

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ขอบเขตการทำงานกับข้อมูลใหม่ · เชื่อมพฤติกรรมบนตัวอย่างกับความเสี่ยงประชากรภายใต้สมมติฐาน

โครงการมีข้อมูลและพารามิเตอร์จำนวนจำกัด ชุดทดสอบไม่ยืนยันขอบเขตประชากรหรือพิสูจน์ทฤษฎีบท

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เข้าใจขอบเขต / ขอบเขตการทำงานกับข้อมูลใหม่

ข้อมูลเข้าหรือสมมติฐาน: ชั้นฟังก์ชัน สมมติฐานการสุ่ม และพารามิเตอร์ขอบเขต
ผลลัพธ์หรือข้อสรุป: การเปรียบเทียบหรือขอบเขตความเสี่ยง

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

อธิบาย: ความเสี่ยงและการประเมิน
อธิบาย: ฟังก์ชันเป้าหมาย

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2.3 ใช้ได้กับตัวอย่างใหม่หรือไม่ · 1.2 เรียนรู้จากตัวอย่าง

ต้นฉบับเปรียบเทียบตัวอย่างกับตัวอย่างเงาอิสระ แล้วจำกัดขอบเขตช่องว่างคาดหมายด้วยเครื่องหมายสุ่ม

ตัวอย่างนี้แจกแจงทุกตัวอย่าง ตัวอย่างเงา และคู่เครื่องหมายสำหรับการแจกแจงแบร์นูลลีสองตัวอย่างและกลุ่ม {0,z}

การคำนวณแสดงค่าคาดหมายและซูพรีมัมจำกัดอย่างชัดเจน

ตัวอย่างสูตรต้นฉบับ

\begin{split}{\mathbbm{E}}\big[{\varepsilon}^{\mathrm{gen}}\big]={\mathbbm{E}}\Big[\sup_{f\in{\mathcal{F}}}|{\mathcal{R}}(f)-\widehat{\mathcal{R}}_{S}(f)|\Big]&={\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}{\mathbbm{E}}\big[g(\widetilde{Z}^{(i)})-g(Z^{(i)})|{S}\big]\big|\Big]\\ &\leq{\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}g(\widetilde{Z}^{(i)})-g(Z^{(i)})\big|\Big]\\ &={\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}\tau_{i}\big(g(\widetilde{Z}^{(i)})-g(Z^{(i)})\big)\big|\Big]\\ &\leq 2{\mathbbm{E}}\Big[\sup_{g\in{\mathcal{G}}}\frac{1}{m}\big|\sum_{i=1}^{m}\tau_{i}g(Z^{(i)})\big|\Big],\end{split}

ภาพประกอบ · คำนวณการแจกแจงและกลุ่มสมมติจำกัดอย่างครบถ้วน ไม่ได้พิสูจน์อสมการต้นฉบับสำหรับกลุ่มทั่วไป ต้นฉบับใช้ค่าคงที่ซ่อนในการเปรียบเทียบสองด้าน

สัญลักษณ์

$\mathcal{G}$: กลุ่มฟังก์ชันความสูญเสีย
$\widehat{Z}$: ตัวอย่างเงาอิสระที่มีการแจกแจงเดียวกับตัวอย่างฝึก
$τ_i$: เครื่องหมายสุ่มอิสระที่มีโอกาสเท่ากัน
$ℜ_m$: ความซับซ้อนราเดมาเคอร์

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

ค่าเริ่มต้นในโค้ด

pairs = [ [0, 0], [0, 1], [1, 0], [1, 1], ]
signs = [ [-1, -1], [-1, 1], [1, -1], [1, 1], ]

คำนวณที่นี่

นิพจน์ผลลัพธ์: { expectedGap, ghostGap, ghostMeanRisk, signedGhostGap, complexity, twiceComplexity: 2 * complexity, lowerExpression: complexity - 1 / Math.sqrt(2), }

expectedGap = average(pairs.map((sample) => Math.abs(0.5 - mean(sample)))) ใช้: average, pairs, mean
ghostGap = average( pairs.flatMap((sample) => pairs.map((ghost) => Math.abs(mean(ghost) - mean(sample)))), ) ใช้: average, pairs, mean
ghostMeanRisk = average(pairs.map(mean)) ใช้: average, pairs, mean
signedGhostGap = average( pairs.flatMap((sample) => pairs.flatMap((ghost) => signs.map((sign) => Math.abs( (sign[0] * (ghost[0] - sample[0]) + sign[1] * (ghost[1] - sample[1])) / 2, ), ), ), ), ) ใช้: average, pairs, signs
complexity = average( pairs.flatMap((sample) => signs.map((sign) => Math.abs((sample[0] * sign[0] + sample[1] * sign[1]) / 2)), ), ) ใช้: average, pairs, signs

ส่งกลับ

ผลลัพธ์ตัวอย่าง

expectedGap: 0.25
ghostGap: 0.375
ghostMeanRisk: 0.5
signedGhostGap: 0.375
complexity: 0.375
twiceComplexity: 0.75
lowerExpression: ≈-0.3321

JavaScript

const pairs = [
  [0, 0],
  [0, 1],
  [1, 0],
  [1, 1],
];
const signs = [
  [-1, -1],
  [-1, 1],
  [1, -1],
  [1, 1],
];
const mean = (values) => (values[0] + values[1]) / 2;
const average = (values) => values.reduce((a, b) => a + b, 0) / values.length;
const expectedGap = average(pairs.map((sample) => Math.abs(0.5 - mean(sample))));
const ghostGap = average(
  pairs.flatMap((sample) => pairs.map((ghost) => Math.abs(mean(ghost) - mean(sample)))),
);
const ghostMeanRisk = average(pairs.map(mean));
const signedGhostGap = average(
  pairs.flatMap((sample) =>
    pairs.flatMap((ghost) =>
      signs.map((sign) =>
        Math.abs(
          (sign[0] * (ghost[0] - sample[0]) + sign[1] * (ghost[1] - sample[1])) / 2,
        ),
      ),
    ),
  ),
);
const complexity = average(
  pairs.flatMap((sample) =>
    signs.map((sign) => Math.abs((sample[0] * sign[0] + sample[1] * sign[1]) / 2)),
  ),
);
return {
  expectedGap,
  ghostGap,
  ghostMeanRisk,
  signedGhostGap,
  complexity,
  twiceComplexity: 2 * complexity,
  lowerExpression: complexity - 1 / Math.sqrt(2),
};

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ในที่นี้ m=2 แต่ละ Z เป็นตัวแปรสุ่มแบร์นูลลีอิสระที่มีโอกาสเท่ากัน และ G ประกอบด้วยฟังก์ชันศูนย์กับ g(z)=z การทำให้สมมาตรในต้นฉบับเปรียบเทียบช่องว่างความเสี่ยงสม่ำเสมอคาดหมาย ช่องว่างตัวอย่างเงา และความซับซ้อนราเดมาเคอร์สองเท่า ความสัมพันธ์สองด้านที่แสดงกับความผิดพลาดการวางนัยทั่วไปคาดหมายใช้ ≲ จึงไม่ระบุค่าคงที่แน่นอน

แหล่งอ้างอิง: การทำให้สมมาตร