คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

การเรียนรู้เชิงลึกในวิทยาศาสตร์ธรรมชาติ

นักวิทยาศาสตร์มีสมการเกี่ยวกับความร้อน การวัด โมเลกุล และการเคลื่อนที่อยู่แล้ว ระบบเรียนรู้ไม่จำเป็นต้องละเลยความรู้นั้น

ก่อนอื่นเราจะย้อนจากค่าที่วัดได้ไปหาภาพที่ซ่อนอยู่ จากนั้นดูว่ากฎเกี่ยวกับความร้อนและอิเล็กตรอนช่วยเลือกวิธีคำนวณของโครงข่ายได้อย่างไร

8.1 ย้อนหาคำตอบจากการวัด

โครงข่ายประสาทเชิงลึกกับปัญหาผกผัน · หน้าในบทความ 55–56

กล้องหรือเครื่องสแกนรับวัตถุที่ซ่อนอยู่แล้วสร้างค่าที่วัดได้ หากเรารู้วัตถุ การคำนวณค่าที่วัดเป็นปัญหาไปข้างหน้า หากเรามีเพียงค่าที่วัดและต้องการวัตถุคืน นั่นคือปัญหาผกผัน

สมมติว่าเซนเซอร์รายงานเพียงผลรวมของค่าพิกเซลที่ซ่อนอยู่สองค่า ทั้ง (1, 3) และ (2, 2) ให้ค่าที่วัดเดียวกัน

ค่าที่วัดได้เพียงอย่างเดียวแยกสองภาพนี้ออกจากกันไม่ได้

แบบจำลองอย่างง่าย

y=x1+x2y=x_1+x_2
1+3=4,2+2=41+3=4,\quad 2+2=4
function compareMeasurements(firstPair, secondPair) {
  const firstMeasurement = firstPair[0] + firstPair[1];
  const secondMeasurement = secondPair[0] + secondPair[1];
  return { firstMeasurement, secondMeasurement };
}
const result = compareMeasurements([1, 3], [2, 2]);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 55

แก้ภาพเบลอสองพิกเซล

ตัวอย่างสมมติ

สำรวจ

เลือกภาพต่างกันสองภาพที่มีความสว่างเฉลี่ยเท่ากัน

แตะภาพหรือใช้ปุ่ม

ภาพ 102ค่าเฉลี่ย 1ภาพ 211ค่าเฉลี่ย 1ภาพ 320ค่าเฉลี่ย 1
ภาพถ่าย

ที่เลือก: ไม่มี

เซนเซอร์ที่รายงานเพียงผลรวม 4 ไม่อาจบอกได้ว่าพิกเซลสองตัวเป็น [1, 3] หรือ [2, 2]: ทั้งคู่รวมได้ 4 ค่าที่วัดอาจเหลือวัตถุที่ซ่อนอยู่ได้หลายแบบ สัญญาณรบกวนทำให้การเลือกยากขึ้น

แนวทางทั่วไปหนึ่งหาวัตถุตัวเลือกที่ให้ค่าที่วัดตรงกันและสอดคล้องกับสมมติฐานที่มีประโยชน์ด้วย เช่น มีบริเวณที่เรียบเป็นส่วนใหญ่ สูตรสร้างสมดุลระหว่างความคลาดเคลื่อนของค่าที่วัดกับค่าปรับสำหรับตัวเลือกที่ไม่น่าเป็นไปได้

บทความอธิบายการใช้เครือข่ายประสาทสามแนวทางกว้าง ๆ: เรียนรู้การแปลงย้อนกลับจากตัวอย่างที่จับคู่ เรียนรู้ความชอบต่อวัตถุที่เป็นไปได้ หรือให้เครือข่ายเองแทนตัวเลือกวัตถุและปรับให้ตรงกับค่าที่วัด

แต่ละแนวทางอาจล้มเหลวเมื่อตัวอย่างฝึกไม่เป็นตัวแทน ค่าที่วัดสูญเสียข้อมูลมากเกินไป หรือกระบวนการปรับเริ่มจับคู่กับสัญญาณรบกวน ภาพที่สร้างกลับและดูเป็นไปได้ไม่ใช่วัตถุที่ซ่อนอยู่จริงโดยอัตโนมัติ

8.2 ใช้สมการเป็นแนวทาง

แบบจำลองที่ใช้สมการเชิงอนุพันธ์ย่อย · หน้าในบทความ 56–60

แท่งวัตถุอาจร้อนในที่หนึ่งและเย็นในอีกที่หนึ่ง ในแบบจำลองความร้อนอย่างง่ายนี้ ความร้อนไหลจากส่วนที่ร้อนกว่าไปยังส่วนที่เย็นกว่า อุณหภูมิจึงเปลี่ยนตามเวลา กฎที่เชื่อมรูปแบบอุณหภูมิตามแนวแท่งกับการเปลี่ยนตามเวลาเรียกว่าสมการเชิงอนุพันธ์ย่อย

สำหรับความร้อน อุณหภูมิเริ่มต้นทุกตำแหน่งมีความสำคัญ การรู้เพียงอุณหภูมิที่ปลายทั้งสองไม่ได้ระบุว่าตอนเริ่มตรงกลางเป็นอย่างไร บทความกล่าวถึงแบบจำลองด้านการเงิน การควบคุม และโมเลกุล ซึ่งอาจมีพิกัดข้อมูลเข้าจำนวนมาก

อุณหภูมิตามแท่ง

ตัวอย่างสมมติ

สำรวจ

เลือกทั้งสองรูปแบบที่ปลายเป็นศูนย์แต่กลางต่างกัน

แตะภาพหรือใช้ปุ่ม

รูปแบบ 10°C0°C0°Cทราบปลาย คาดตรงกลางรูปแบบ 20°C1°C0°Cทราบปลาย คาดตรงกลาง
รูปแบบ

ที่เลือก: ไม่มี; ปลายและกลาง: ไม่มี

เราเห็นวิธีความร้อนวิธีหนึ่งในบทที่ 4: สุ่มเส้นทางที่สิ้นสุด ณ ตำแหน่งเริ่มต้น อ่านอุณหภูมิเริ่มต้นที่นั่น แล้วหาค่าเฉลี่ยเพื่อประมาณค่าภายหลังที่ตำแหน่งเริ่มของเส้นทาง วิธีนี้ต้องใช้แบบจำลองและเวลาจำลอง ไม่ใช่เพียงตำแหน่งเส้นทาง

สำหรับการจัดตำแหน่งอิเล็กตรอนแต่ละแบบ ฟังก์ชันคลื่น ψ ให้จำนวนหนึ่งค่า อาจเป็นจำนวนเชิงซ้อนที่นึกเป็นลูกศรเหมือนในบทที่ 7 ค่านี้เรียกว่าแอมพลิจูด ไม่ใช่ความน่าจะเป็น ยกกำลังสองของความยาวลูกศรแล้วปรับการกระจายทั้งหมดให้ความน่าจะเป็นรวมเท่ากับ 1 ผลคือความหนาแน่นของความน่าจะเป็น ซึ่งบอกว่าโอกาสกระจุกอยู่ใกล้การจัดตำแหน่งแต่ละแบบมากเพียงใด รวมความหนาแน่นตลอดบริเวณของการจัดตำแหน่งเพื่อหาความน่าจะเป็นของบริเวณนั้น

บทความจัดอิเล็กตรอนเป็นกลุ่มตามสมบัติที่เรียกว่าสปิน ซึ่งไม่ได้หมายถึงลูกบอลเล็ก ๆ หมุนจริง ๆ เมื่อสลับตำแหน่งอิเล็กตรอนสองตัวในกลุ่มสปินเดียวกัน เครื่องหมายของฟังก์ชันคลื่นต้องกลับเป็นตรงข้าม สำหรับตัวอย่างง่าย ๆ สองสถานะ ลองเปรียบเทียบแอมพลิจูด +1 และ −1 ก่อนและหลังสลับ แล้วนำมายกกำลังสอง

ในตัวอย่างสองสถานะนี้ +1 และ −1 ยกกำลังสองได้ 1 เท่ากัน เมื่อปรับผลรวมจึงได้โอกาสเท่ากันแอมพลิจูดในตัวอย่างนี้เป็นจำนวนจริง

สูตรจากบทความ

Pi,jψ=−ψP_{i,j}\psi=-\psi
(ψ1,ψ2)=(1,−1):Pψ=(−1,1)=−ψ,(p1,p2)=(1/2,1/2)(\psi_1,\psi_2)=(1,-1):\quad P\psi=(-1,1)=-\psi,\quad (p_1,p_2)=(1/2,1/2)
function probabilities(amplitudes) {
  const weights = [];
  let total = 0;
  for (const amplitude of amplitudes) {
    const weight = amplitude ** 2;
    weights.push(weight);
    total += weight;
  }
  if (total === 0) {
    throw new Error('ผลรวมกำลังสองของแอมพลิจูดต้องไม่เป็นศูนย์');
  }
  const probabilities = [];
  for (const weight of weights) probabilities.push(weight / total);
  const swappedAmplitudes = [amplitudes[1], amplitudes[0]];
  const negativeAmplitudes = [-amplitudes[0], -amplitudes[1]];
  return { amplitudes, swappedAmplitudes, negativeAmplitudes, probabilities };
}
const result = probabilities([1, -1]);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 58 (8.2)

ในแบบจำลองสมมติสองสถานะนี้ (+1)² = 1 และ (−1)² = 1 ผลรวมคือ 2 จึงได้น้ำหนักที่ปรับแล้วข้างละ 1/2 การสลับเปลี่ยนเครื่องหมายแต่ไม่เปลี่ยนความน่าจะเป็นในแบบจำลองนี้ ตำแหน่งอิเล็กตรอนจริงเป็นปริภูมิต่อเนื่อง ค่าสมมติสองค่านี้ไม่ได้บรรยายโมเลกุลจริง

การสลับค่าตำแหน่งภายในกลุ่มสปินเดียวกันทำให้เครื่องหมายของ ψ กลับด้าน กฎนี้เรียกว่าสมมาตรต้าน เงื่อนไขของบทความไม่ได้กำหนดให้การสลับระหว่างสองกลุ่มสปินต่างกันต้องเป็นไปตามกฎเดียวกัน

เรายังคำนวณค่าเฉลี่ยถ่วงน้ำหนักของค่าพลังงานที่เป็นไปได้ นี่เป็นค่าคาดหมายแบบสมมติ ไม่ใช่คำตอบของสมการชเรอดิงเงอร์

สำหรับสถานะสมมติสองสถานะที่มีพลังงาน 1 และ 3 และความน่าจะเป็น 0.75 และ 0.25 ให้คูณพลังงานแต่ละค่าด้วยความน่าจะเป็นแล้วบวกกัน

ค่าเฉลี่ยถ่วงน้ำหนักเท่ากับ 1.5 ในหน่วยพลังงานที่เลือก

นิยาม / กฎในบทความ

E[E]=∑ipiEi\mathbb E[E]=\sum_i p_i E_i
E[E]=0.75(1)+0.25(3)=1.5\mathbb E[E]=0.75(1)+0.25(3)=1.5
function averageEnergy(chance, low, high) {
  if (!(chance >= 0 && chance <= 1)) {
    throw new Error('ความน่าจะเป็นต้องอยู่ระหว่าง 0 กับ 1');
  }
  return { averageEnergy: (1 - chance) * low + chance * high };
}
const result = averageEnergy(0.25, 1, 3);

เลือกการเปลี่ยนแปลง ทำนาย แล้วกดรัน

ผลลัพธ์:
เปิด JavaScript เพื่อรันตัวอย่างนี้

ศึกษาเพิ่มเติมในคลังแนวคิด หน้าในบทความ 59

เมื่อระดับพลังงานเป็น 1 และ 3 (หน่วยพลังงานสมมติ) และโอกาสเป็น 0.75 และ 0.25 คูณแล้วบวกได้ 0.75×1 + 0.25×3 = 1.5 หน่วยพลังงาน บทความใช้นิพจน์พลังงานที่ซับซ้อนกว่าซึ่งต้องเป็นไปตามสมการทางฟิสิกส์

นักวิจัยใส่กฎการสลับสำหรับสปินเดียวกันไว้ในสถาปัตยกรรมเครือข่ายบางชนิดและรวมกับข้อมูลปฏิสัมพันธ์ที่เรียนรู้ แทนที่จะหวังว่าเครือข่ายที่ไม่มีข้อจำกัดจะค้นพบกฎโดยบังเอิญ

ตัวอย่างเหล่านี้ไม่ใช่เครื่องแก้ปัญหาความร้อนหรือควอนตัมสากล แต่แสดงบทเรียนที่เกิดซ้ำในบทความว่าโครงสร้างทางคณิตศาสตร์อาจทำให้ปัญหาการเรียนรู้ที่ยากมากจัดการได้ขึ้น แต่ผลลัพธ์ต้องมีเงื่อนไขของตนเองและการตรวจสอบเชิงตัวเลขอย่างรอบคอบ

เราเริ่มต้นด้วยคำทำนายหนึ่งค่าและค่าความผิดพลาดหนึ่งค่า แล้วมาถึงแบบจำลองที่ต้องสอดคล้องกับผลการวัดและกฎทางฟิสิกส์ คณิตศาสตร์ช่วยแยกสามคำถาม: แบบจำลองแทนคำตอบได้หรือไม่ วิธีฝึกค้นหาคำตอบนั้นได้หรือไม่ และมีหลักฐานหรือไม่ว่าใช้ได้กับข้อมูลใหม่ ทั้งสามคำถามยังแตกต่างกันแม้โครงข่ายจะมีขนาดใหญ่เพียงใด

ลองแบบทดสอบท้ายบท

1. กล้องทำให้ภาพเบลอ ปัญหาผกผันคืออะไร?

2. ในตัวอย่างสองสถานะ แอมพลิจูดคือ +1 และ −1 เมื่อยกกำลังสองแล้วหารด้วยผลรวม ความน่าจะเป็นสองค่าคืออะไร?

3. แบบจำลองสมการเชิงอนุพันธ์ย่อยอธิบายอะไรเกี่ยวกับแท่งอุ่นได้?

คำอธิบายเพื่อการศึกษาอย่างอิสระจาก คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก — จูเลียส แบร์เนอร์, ฟิลิปป์ โกรส์, กิตตา คูทินิออค, ฟิลิปป์ ปีเตอร์เซน. ตัวอย่างใช้ตัวเลขสมมติ เว้นแต่จะระบุแหล่งข้อมูลที่วัดจริง