คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

เมื่อมีข้อมูลเข้ามากมาย

ลองนึกว่าพิกเซลแต่ละจุดในภาพเป็นตัวเลขอีกหนึ่งตัวที่ต้องพิจารณา การตรวจสอบทุกชุดค่าที่เป็นไปได้ย่อมทำไม่ได้อย่างรวดเร็ว

บทความสำรวจสามวิธีที่ทำให้บางปัญหาเล็กลง: ค่าพิกเซลจำนวนมากอาจขึ้นกับตัวควบคุมเพียงไม่กี่ตัว ค่าเฉลี่ยของกฎย่อยอาจประมาณกฎใหญ่ได้ และสมการวิทยาศาสตร์ที่รู้แล้วอาจช่วยนำทางการคำนวณ

4.1 ตัวควบคุมน้อยตัวกับค่ามากมาย

สมมติฐานแมนิโฟลด์ · หน้าในบทความ 34–35

ภาพถ่ายอาจมีค่าพิกเซลหลายพันค่า แต่ภาพที่เราสนใจไม่ใช่การจัดเรียงค่าพิกเซลทุกแบบ ลองพิจารณาป้ายห้าช่องที่มีช่องสว่างหนึ่งช่องซึ่งเลื่อนไปทางซ้ายหรือขวาได้

ให้แต่ละพิกัดมีค่าที่เป็นไปได้สิบค่า คูณจำนวนตัวเลือกสิบค่าสำหรับทุกพิกัด

ข้อมูลเข้าสามค่าที่แต่ละค่ามีสิบตัวเลือก ให้ 10 × 10 × 10 = 1,000 ชุด

ตัวอย่างคำนวณ

N=10dN=10^d
d=3:N=10⋅10⋅10=1000d=3:\quad N=10\cdot10\cdot10=1000
function gridPoints(choices, dimensions) {
  return { points: choices ** dimensions };
}
const result = gridPoints(10, 3);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 34

ป้ายไฟเคลื่อนที่

ตัวอย่างสมมติ

สำรวจ

ทำให้ตรงเป้าหมาย คือสว่างเฉพาะช่องที่ 4

แตะภาพหรือใช้ปุ่ม

ป้ายของคุณตำแหน่ง 3 จาก 5ป้ายเป้าหมาย
ตำแหน่งช่อง

ช่องที่สว่าง: 3; เป้าหมาย: 4

ป้ายมีตัวเลขห้าตัว แต่มีรูปแบบได้เพียงห้าแบบ ตามตำแหน่งที่สว่าง ตัวเลือกห้าแบบที่แยกจากกันไม่ใช่เส้นเรียบ ทีนี้เปลี่ยนตัวอย่างให้ปุ่มปรับความสว่างหนึ่งปุ่มเปลี่ยนตัวเลขทั้งห้าพร้อมกัน และปรับได้ทุกค่าในช่วงหนึ่ง ภาพเหล่านั้นจึงเป็นเส้นต่อเนื่อง

ปุ่มปรับความสว่างหนึ่งปุ่มตั้งพิกเซลทั้งห้าให้มีค่าเท่ากัน ภาพต้องใช้ตัวเลขห้าตัวอธิบาย แต่เราเลือกได้อิสระเพียงตัวเดียว เมื่อ t เปลี่ยนต่อเนื่อง ภาพเหล่านี้เรียงเป็นเส้น เส้นนี้มีมิติภายในเท่ากับ 1 เพราะใช้ตัวเลขอิสระเพียงตัวเดียวระบุภาพบนเส้นได้

ปุ่มความสว่างปุ่มเดียวกำหนดตัวเลขทั้งห้าพร้อมกัน

แบบจำลองอย่างง่าย

x(t)=(t,t,t,t,t)x(t)=(t,t,t,t,t)
t=2:x=(2,2,2,2,2)t=2:\quad x=(2,2,2,2,2)
function sharedBrightness(brightness, count) {
  return { pixels: Array(count).fill(brightness), controls: 1 };
}
const result = sharedBrightness(2, 5);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 35

บทความเรียกสิ่งนี้ว่าสมมติฐานแมนิโฟลด์ หากข้อมูลเข้าจริงส่วนใหญ่อยู่บนพื้นผิวเรียบที่มีมิติต่ำกว่า การเรียนรู้กฎบนพื้นผิวนั้นอาจเพียงพอ แทนที่จะเรียนรู้ทุกชุดค่าพิกเซลที่เป็นไปได้

นี่เป็นสมมติฐานเกี่ยวกับข้อมูล ไม่ใช่คุณสมบัติที่รับประกันสำหรับภาพทั้งหมด การสร้างในทฤษฎีบททำงานเฉพาะที่บนส่วนต่าง ๆ ของพื้นผิวแล้วรวมส่วนเหล่านั้น

4.2 หาค่าใกล้เคียงด้วยการสุ่ม

การสุ่มตัวอย่าง · หน้าในบทความ 35–36

อีกวิธีสร้างค่าประมาณจากกฎเล็ก ๆ หลายข้อ โดยเลือกกฎและน้ำหนักสำหรับเป้าหมายที่ต้องการประมาณโดยเฉพาะ

สำหรับเป้าหมายหนึ่ง บทความสร้างส่วนร่วมเล็ก ๆ g_j ที่รวมน้ำหนักไว้แล้ว สมมติว่าเมื่อใส่ข้อมูลชุดหนึ่ง ส่วนร่วมสามข้อให้ 1, 2 และ 3 เลือกสองข้อแรกแล้วหาค่าเฉลี่ย

ค่าเฉลี่ยรวมกฎที่เลือกจากชุดส่วนประกอบซึ่งสร้างขึ้นให้เหมาะกับฟังก์ชันเป้าหมาย

นิยาม / กฎในบทความ

fn(x)=1n∑j=1ngj(x)f_n(x)=\frac1n\sum_{j=1}^{n}g_j(x)
f2(x)=(1+2)/2=1.5f_2(x)=(1+2)/2=1.5
function sampleAverage(values, count) {
  if (!Number.isInteger(count) || count <= 0 || count > values.length) {
    throw new Error('จำนวนต้องเป็นจำนวนเต็มตั้งแต่ 1 ถึงความยาวรายการ');
  }
  let total = 0;
  for (let index = 0; index < count; index++) total += values[index];
  return { average: total / count };
}
const result = sampleAverage([1, 2, 3], 2);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 36

นับดอกไม้

ตัวอย่างสมมติ

สำรวจ

เลือกกระถางอย่างน้อยสองใบและทำนายค่าเฉลี่ย ปัดเป็นทศนิยมสองตำแหน่งหากจำเป็น

แตะภาพหรือใช้ปุ่ม

ทั้งห้ากระถางค่าเฉลี่ย 3กระถางที่เลือกค่าเฉลี่ย ?
กระถาง

ที่เลือก: ไม่มี

ในการคำนวณข้างต้น การเลือก 1 และ 2 ให้ (1 + 2)/2 = 1.5 กิจกรรมกระถางดอกไม้ก็หาค่าเฉลี่ยจากค่าที่เลือก กระถางช่วยให้เห็นว่าค่าเฉลี่ยตัวอย่างอาจต่างจากทั้งกลุ่ม และการเพิ่มกระถางไม่จำเป็นต้องทำให้ประมาณได้ใกล้ขึ้นทุกครั้ง นี่แสดงวิธีหาค่าเฉลี่ย ไม่ใช่การรับประกันการประมาณของบทความ

บทความให้เพดานของค่าคาดหมายความผิดพลาดกำลังสอง จำนวน C_g อธิบายเป้าหมายที่เลือก ไม่ใช่ปุ่มที่ทำให้ทุกปัญหาง่าย ในการคำนวณนี้เลือก C_g = 4 และกฎย่อย n = 4 กฎ สัญลักษณ์ π คือค่าคงที่ของวงกลม มีค่าประมาณ 3.1416

เมื่อใช้พจน์มากขึ้น เพดานของค่าคาดหมายความผิดพลาดกำลังสองนี้จะต่ำลง ภายใต้เงื่อนไขของบทความ

ขอบเขต (มีเงื่อนไข)

E[∥g−g(0)−fn∥2]≤(2πCg)2/n\mathbb E[\|g-g(0)-f_n\|^2]\leq(2\pi C_g)^2/n
Cg=4,n=4:(2π⋅4)2/4=16π2C_g=4,\quad n=4:\quad (2\pi\cdot4)^2/4=16\pi^2
function errorBound(targetComplexity, numberOfTerms) {
  const squaredErrorBound = (2 * Math.PI * targetComplexity) ** 2
    / numberOfTerms;
  return { squaredErrorBound };
}
const result = errorBound(4, 4);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 36

ขอบเขตบนข้างต้นใช้กับค่าคาดหมายของความผิดพลาดยกกำลังสอง และลดลงตาม 1/n เมื่อนำขอบเขตนี้มาถอดรากที่สอง จะได้ขอบเขตของค่ารากกำลังสองเฉลี่ยของความผิดพลาด คือหาค่าเฉลี่ยของความผิดพลาดยกกำลังสองแล้วถอดรากที่สอง ขอบเขตนี้ลดลงตาม 1/√n บทความต้องมีเงื่อนไขเกี่ยวกับการแทนเป้าหมายด้วยฟูเรียร์ ซึ่งเป็นวิธีเขียนกฎเป็นส่วนผสมของคลื่น ค่าคงที่ขึ้นอยู่กับเป้าหมาย

เมื่อ C_g = 4 และ n = 4 เพดาน (2πC_g)²/n มีค่าประมาณ 157.91 ถ้าใช้ 16 พจน์ เพดานนี้จะหารด้วยสี่ เหลือประมาณ 39.48 ภายใต้เงื่อนไขของทฤษฎีบท ค่าคาดหมายความผิดพลาดกำลังสองจะไม่เกินเพดาน แต่ความผิดพลาดของตัวอย่างที่สุ่มมาแต่ละครั้งไม่จำเป็นต้องลดลงทุกครั้งที่เพิ่มพจน์

4.3 เมื่อสมการวิทยาศาสตร์ช่วยได้

สมมติฐานสมการเชิงอนุพันธ์ย่อย · หน้าในบทความ 36–39

บางครั้งปัญหายากเพราะมีค่าที่เปลี่ยนแปลงจำนวนมาก แต่กฎของปัญหามาจากสมการทางวิทยาศาสตร์ เช่น สมการความร้อนบอกว่าอุณหภูมิแพร่กระจายอย่างไร

ลองนึกถึงแท่งโลหะที่รู้ค่าอุณหภูมิเริ่มต้นทุกตำแหน่ง เพื่อประมาณอุณหภูมิภายหลัง ณ ตำแหน่งหนึ่ง สูตรเริ่มเส้นทางสุ่มที่ตำแหน่งนั้นแล้วอ่านอุณหภูมิเริ่มต้นที่ปลายแต่ละเส้นทาง เส้นทางเหล่านี้เป็นตัวอย่างทางคณิตศาสตร์ ไม่ได้กล่าวว่าความร้อนเคลื่อนย้อนกลับจริง

ผู้เดินสองคน

ตัวอย่างสมมติ

สำรวจ

เดินสี่ขั้นตามสองเส้นทางที่กำหนด แล้วทำนายค่าเฉลี่ยของอุณหภูมิตอนเริ่มต้น ณ จุดปลายทาง

แตะภาพหรือใช้ปุ่ม

ผู้เดิน Aปลายทาง 0 · เริ่มต้น 2°C←→ผู้เดิน Bปลายทาง 0 · เริ่มต้น 2°C
ขั้นของเส้นทาง
0

จำนวนขั้น: 0; ตำแหน่ง: 0 · 0

ในสูตรของบทความ g(x,t) คือค่าภายหลัง φ คืออุณหภูมิเริ่มต้น S คือจุดปลายของเส้นทางสุ่ม และ n คือจำนวนเส้นทางตัวอย่าง ตัวอย่างนี้ให้จุดปลายมีอุณหภูมิเริ่มต้น 2 และ 4 องศา

ค่าเฉลี่ยตัวอย่างประมาณอุณหภูมิในเวลาต่อมาที่ตำแหน่งเริ่มต้นปลายเส้นทางที่สุ่มสองเส้นเป็นตัวอย่างการประมาณ ไม่ใช่ค่าคาดหมายที่แน่นอน

สูตรจากบทความ

g(x,t)=E[φ(Sx,t)]≈1n∑i=1nφ(Sx,t(i))g(x,t)=\mathbb{E}[\varphi(\mathcal{S}_{x,t})]\approx\frac{1}{n}\sum_{i=1}^{n}\varphi(\mathcal{S}_{x,t}^{(i)})
g(x,t)≈(2+4)/2=3g(x,t)\approx(2+4)/2=3
function averageTemperature(first, second) {
  return { sampleAverage: (first + second) / 2 };
}
const result = averageTemperature(2, 4);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 37 (4.8)

สมมติว่าเส้นทางสุ่มสองเส้นสิ้นสุดที่ตำแหน่งซึ่งมีอุณหภูมิเริ่มต้น 2°C และ 4°C ค่าเฉลี่ยคือ (2 + 4)/2 = 3°C ใช้อุณหภูมิเริ่มต้นที่ปลายเส้นทางเพื่อประมาณอุณหภูมิภายหลังตรงจุดเริ่มเส้นทาง ตำแหน่งเองไม่ใช่อุณหภูมิ

บทความเรียกวิธีที่เกี่ยวข้องในการเขียนคำตอบของสมการบางชนิดว่าการแทนแบบไฟน์แมน–แคค เครือข่ายสามารถประมาณเส้นทาง อุณหภูมิเริ่มต้น และค่าเฉลี่ยได้ สำหรับสมการและเงื่อนไขเฉพาะที่ศึกษา วิธีนี้บางครั้งเลี่ยงต้นทุนที่เพิ่มแบบเลขชี้กำลังตามจำนวนตัวป้อนได้ เส้นทางสุ่มสองเส้นช่วยอธิบายแนวคิด แต่ไม่ได้แก้ปัญหาทางฟิสิกส์

แต่ละแนวทางใช้คุณสมบัติเฉพาะของข้อมูล กฎ หรือสมการวิทยาศาสตร์ จึงช่วยปัญหาบางชนิดที่มีข้อมูลเข้าหลายค่าได้ ตอนนี้เราจะกลับไปยังคำถามจากบทที่ 1: การฝึกหาน้ำหนักที่มีประโยชน์ได้อย่างไร?

ลองแบบทดสอบท้ายบท

1. พิกเซลจำนวนมากแสดงวัตถุชิ้นเดียวที่เคลื่อนที่ แนวคิดใดคล้ายสมมติฐานแมนิโฟลด์?

2. ค่าเฉลี่ยตัวอย่างสรุปอะไร?

3. ในแบบจำลองความร้อนอย่างง่าย หลังการเดินสุ่มเราหาค่าเฉลี่ยของอะไร?

คำอธิบายเพื่อการศึกษาอย่างอิสระจาก คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก — จูเลียส แบร์เนอร์, ฟิลิปป์ โกรส์, กิตตา คูทินิออค, ฟิลิปป์ ปีเตอร์เซน. ตัวอย่างใช้ตัวเลขสมมติ เว้นแต่จะระบุแหล่งข้อมูลที่วัดจริง