ค้นหารูปแบบที่เป็นประโยชน์

เลื่อนรูปวาดแมวไปทางขวาเล็กน้อย สำหรับคำถามว่าเป็นแมวหรือสุนัข เราอาจต้องการให้คำตอบคงเดิม คุณลักษณะที่มีประโยชน์สามารถละเลยการเปลี่ยนแปลงที่ไม่เกี่ยวข้องแต่ยังตอบสนองต่อการเปลี่ยนแปลงสำคัญ

ลองนึกถึงลูกศรที่ชี้ไปทางขวา หมุนให้ชี้ลงโดยไม่เปลี่ยนความยาว: ทิศทางเปลี่ยนแต่ความยาวเท่าเดิม จำนวนเชิงซ้อนนึกเป็นลูกศรเช่นนี้ได้ สัมประสิทธิ์ฟูเรียร์ใช้ลูกศรบรรยายความแรงและแนวของรูปแบบที่ซ้ำในสัญญาณ ความถี่บอกว่ารูปแบบซ้ำกี่ครั้งรอบวง ลองใช้สัญญาณที่เก็บค่าที่สี่ตำแหน่งรอบวง มีเครื่องหมายหนึ่งตำแหน่ง แล้วเลื่อนเครื่องหมายไปหนึ่งตำแหน่ง

function shiftedMagnitude(shift) {
  const angle = -2 * Math.PI * shift / 4;
  return { first: 1, second: Math.hypot(Math.cos(angle), Math.sin(angle)) };
}
const result = shiftedMagnitude(1);

สัมประสิทธิ์เปลี่ยนจาก 1 เป็น −i: ลูกศรของมันหมุนจากชี้ขวาเป็นชี้ลง ลูกศรนี้แทนจำนวน ไม่ใช่ลูกศรที่วาดบนภาพ ความยาวหรือขนาดยังเป็น 1 แต่ทิศทางหรือเฟสเปลี่ยน สูตรต้นฉบับเป็นเอกลักษณ์การเลื่อนแบบต่อเนื่อง ตัวอย่างวงกลมจำนวนจำกัดนี้ช่วยอธิบายแต่ไม่ได้พิสูจน์ ในสูตร u คือสัญญาณ τ คือระยะเลื่อน และ ω คือความถี่

การแปลงสแคตเตอริงใช้ตัวกรองหารูปแบบ หาขนาดของผลตอบสนองแต่ละค่า แล้วหาค่าเฉลี่ยในบริเวณหนึ่ง ขั้นตอนนี้ทำซ้ำได้เพื่อบรรยายรูปแบบต่างขนาด ทฤษฎีให้การรับประกันสำหรับการเลื่อนบางแบบและการเสียรูปเล็กน้อย เช่น การยืดเล็กน้อย

ความไม่แปรเปลี่ยนหมายถึง “คุณลักษณะคงเดิม” ส่วนความเสถียรหมายถึง “การเปลี่ยนข้อมูลเข้าเล็กน้อยทำให้คุณลักษณะเปลี่ยนเพียงเล็กน้อย” บทความไม่ได้บอกว่าควรละเลยทุกการเปลี่ยนแปลงของภาพ หรือเครือข่ายที่เรียนรู้ทั่วไปมีการรับประกันเดียวกันโดยอัตโนมัติ

บรรยายภาพบ้านด้วยรูปแบบที่เก็บไว้ เช่น หลังคา ผนัง และประตู จำนวนของแต่ละรูปแบบบอกว่าใช้รูปแบบนั้นเท่าไร หากมีเพียงไม่กี่จำนวนที่ไม่เป็นศูนย์จากรูปแบบที่มีมากมาย คำบรรยายนั้นเรียกว่าเบาบาง

กลุ่มรูปแบบเรียกว่าพจนานุกรม ที่นี่พจนานุกรมอย่างง่ายที่สุดคือเอกลักษณ์ จับคู่ข้อมูลเข้าแต่ละค่ากับรูปแบบของค่านั้น จึงได้ปริมาณเท่าเดิมคือ [2, 0.1] จากนั้นลดค่าโดยใช้เกณฑ์ 0.2

function thresholdCoefficients(values, cutoff) {
  const coefficients = [];
  for (const value of values) {
    coefficients.push(Math.max(0, value - cutoff) - Math.max(0, -value - cutoff));
  }
  return { coefficients };
}
const result = thresholdCoefficients([2, 0.1], 0.2);

สำหรับปริมาณบวกเหล่านี้ ลบ 0.2 จาก 2 ได้ 1.8 ส่วน 0.1 ต่ำกว่าเกณฑ์จึงเป็น 0 นี่คือการตั้งเกณฑ์แบบอ่อน ซึ่งลดค่าที่ยังเหลือด้วย พจน์อีกส่วนในสูตรจัดการปริมาณลบ ในสูตร D คือพจนานุกรม Dᵀx ให้ปริมาณรูปแบบ b คือเกณฑ์ และ ρR คือ ReLU

การตั้งเกณฑ์เปลี่ยนปริมาณที่ใช้บรรยายรูปแบบ ส่วนการตัดแต่งในบทที่ 6 ลบน้ำหนักเครือข่าย บทความเชื่อมคำอธิบายรูปแบบเบาบางกับเครือข่ายคอนโวลูชัน: ชั้นแรกตรวจจับรูปแบบเฉพาะที่ได้ ส่วนชั้นถัดไปรวมเป็นคำอธิบายที่มีโครงสร้างมากขึ้น

การใช้เกณฑ์อาจลบเบาะแสจริงที่อ่อนออกด้วย การรับประกันการกู้คืนทางคณิตศาสตร์ต้องมีสมมติฐานว่าคำอธิบายเบาบางเพียงใด รูปแบบแตกต่างกันเพียงใด และเพิ่มสัญญาณรบกวนเท่าไร จุดประสงค์คือเข้าใจคุณลักษณะที่อาจเรียนรู้ได้ ไม่ใช่อ้างว่าทุกเครือข่ายค้นพบพจนานุกรมนี้