ลองกับตัวอย่างใหม่

การเปลี่ยนน้ำหนักหนึ่งค่าอาจเปลี่ยนคำทำนายของข้อมูลหลายชุดพร้อมกัน เช่น ถ้าข้อมูลตัวแรกของกรณีหนึ่งเป็น 1 และอีกกรณีเป็น 2 การเพิ่มน้ำหนักนั้น 1 จะเพิ่มคำทำนาย 1 และ 2 ตามลำดับ ลักษณะของข้อมูลบอกว่าคำทำนายเปลี่ยนไปด้วยกันมากเพียงใด

เปรียบเทียบสองรายการโดยคูณตัวเลขตำแหน่งเดียวกันแล้วบวก: (1, 2) กับ (2, 1) ให้ 1×2 + 2×1 = 2 + 2 = 4 เคอร์เนลแทนเจนต์ของเครือข่ายในบทความเปรียบเทียบรายการการเปลี่ยนแปลงของคำทำนายด้วยวิธีนี้ ส่วนกิจกรรมริบบิ้นให้คะแนนว่าความยาวใกล้ 5 เพียงใด คะแนนทั้งสองไม่ใช่ความน่าจะเป็นหรือระยะทาง

ในกฎ Φ(x, θ) = θ₁x₁ + θ₂x₂ ตัว θ คือรายการน้ำหนัก รายการ (x₁, x₂) บอกว่าคำทำนายเปลี่ยนเท่าใดเมื่อเพิ่มน้ำหนักแต่ละตัวหนึ่งหน่วย รายการอัตราการเปลี่ยนนี้เรียกว่าเกรเดียนต์

function similarity(firstGradient, secondGradient) {
  const similarity = firstGradient[0] * secondGradient[0]
    + firstGradient[1] * secondGradient[1];
  return { similarity };
}
const result = similarity([1, 2], [2, 1]);

เคอร์เนลสัมผัสประสาทเปรียบเทียบเกรเดียนต์เหล่านี้สำหรับข้อมูลเข้าสองตัว สำหรับเครือข่ายที่กว้างมากภายใต้เงื่อนไขการกำหนดค่าเริ่มต้นและการฝึกบางอย่าง การเปรียบเทียบนี้เปลี่ยนเพียงเล็กน้อยเมื่อการฝึกดำเนินต่อไป

ในกรณีนี้ รายการที่บอกว่าคำทำนายเปลี่ยนอย่างไรเมื่อน้ำหนักเปลี่ยนแทบไม่เปลี่ยนเอง ผู้เรียนจึงทำงานใกล้เคียงแบบจำลองที่ง่ายกว่าและใช้ลักษณะเหล่านี้เกือบคงที่ แม้ผลออกของเครือข่ายอาจไม่เป็นเชิงเส้นตามตัวป้อน กรณีนี้เรียกว่าระบอบเคอร์เนลหรือการฝึกแบบขี้เกียจ เป็นคำอธิบายสำหรับเงื่อนไขหนึ่ง ไม่ใช่ทุกเครือข่ายที่มีประโยชน์

การนับน้ำหนักเป็นวิธีหยาบ ๆ ในการวัดว่าเครือข่ายมีอิสระในการทำงานเพียงใด เครือข่ายขนาดใหญ่ที่มีน้ำหนักเล็กหรือควบคุมด้วยวิธีอื่นอาจต่างจากเครือข่ายที่น้ำหนักมีขนาดมหาศาล

คะแนน 6 ทำนาย +1 ส่วนคะแนน −6 ทำนาย −1 นำคะแนนคูณป้ายที่ถูกต้อง y ซึ่งเป็น +1 หรือ −1 ผลลัพธ์ M = y×f(x) เรียกว่าระยะขอบดิบ ค่าบวกหมายถึงคะแนนอยู่ฝั่งที่ถูกต้อง ค่าบวกที่มากกว่าหมายถึงมีระยะเผื่อเป็นตัวเลขมากกว่า ส่วนศูนย์เป็นจุดแบ่งพิเศษ

สำหรับ f(x) = wx ที่ไม่มีค่าขยับ การหารมาร์จินดิบด้วย |w| ให้ระยะที่มีเครื่องหมาย โดยเป็นบวกเมื่ออยู่ฝั่งที่ถูกต้องของเส้นแบ่ง เมื่อน้ำหนักเป็น 2 และตัวอย่างบวกอยู่ที่ 3 มาร์จินดิบคือ 6 หาร 6 ด้วย 2 จะได้ระยะ 3 หน่วยจากเส้นแบ่งที่ 0

function classificationMargin(weight, value) {
  if (weight === 0) throw new Error('น้ำหนักต้องไม่เป็นศูนย์');
  const score = weight * value;
  const norm = Math.abs(weight);
  return { score, norm, margin: score / norm };
}
const result = classificationMargin(2, 3);

คะแนนแมวตัวอย่าง 7 แต้มเทียบกับคะแนนสุนัข 5 แต้มมีส่วนต่าง 2 แต้ม หากลดคะแนนแมวเป็น 3 ส่วนต่างเป็น −2 สุนัขจึงชนะ ภาพแสดงส่วนต่างคะแนน ส่วนมาร์จินมีเครื่องหมายของบทความใช้ป้ายกำกับคูณคะแนนดิบ

ถ้าเพิ่มน้ำหนักบวกเป็นสองเท่า คะแนนและระยะห่างดิบเพิ่มเป็นสองเท่า แต่เส้นแบ่งยังอยู่ที่ 0 และระยะยังเป็น 3 บทความศึกษาขอบเขตที่อาศัยขนาดน้ำหนักและระยะห่างภายใต้เงื่อนไขที่ระบุ ระยะห่างมากเพียงอย่างเดียวไม่รับประกันว่าจะทำได้ดีกับข้อมูลใหม่

เครือข่ายสองเครือข่ายอาจทำผิดในการฝึกน้อยเท่ากัน แต่ทำนายคำตอบต่างกันในจุดอื่น กระบวนการที่ใช้หาน้ำหนักอาจมีผลต่อคำตอบที่พอดีกับข้อมูลซึ่งเราได้จากหลายคำตอบ

เปรียบเทียบกฎตัวอย่างสองกฎที่ตรงกับจุดฝึก (0, 0) เหมือนกัน แต่ให้คำตอบต่างกันกับตัวป้อนใหม่ นี่แสดงการเลือกกฎที่เข้ากับข้อมูล ผลของบทความว่าด้วยงานอีกแบบ คือการจำแนกที่ใช้เส้นแบ่งตรงแยกป้ายสองชนิดได้

กฎสมมติสองกฎคืนค่า 0 เหมือนกันที่ข้อมูลฝึกเพียงค่าเดียวคือ 0 สำหรับข้อมูลเข้าใหม่ กฎหนึ่งคืน 0 และอีกกฎคืนค่าข้อมูลเข้า

function compareRules(newInput) {
  return { trainingA: 0, trainingB: 0, newA: 0, newB: newInput };
}
const result = compareRules(1);

ค่าปรับชัดแจ้งคือค่าที่เราเพิ่มในคะแนนฝึก ส่วนความเอนเอียงโดยนัยเกิดจากวิธีที่การค้นหาเคลื่อนที่ แม้ไม่ได้เพิ่มค่าปรับ เช่น การค้นหาอาจชอบกฎหนึ่งในหลายกฎที่เข้ากับข้อมูล ภายใต้เงื่อนไขพิเศษ การลดตามเกรเดียนต์ในแบบจำลองเชิงเส้นอย่างง่ายมีแนวโน้มไปสู่น้ำหนักเล็กหรือระยะขอบใหญ่

บทความยังกล่าวถึงรูปร่างของค่าความสูญเสียใกล้เคียง หรือความราบ แนวคิดเหล่านี้เสนอคำอธิบายที่เป็นไปได้สำหรับการวางนัยทั่วไป แต่ไม่ได้พิสูจน์ว่าเครือข่ายลึกใด ๆ จะพบคำตอบที่วางนัยทั่วไปได้ดีที่สุด

เมื่อมีจำนวนที่ปรับได้น้อยเกินไป แบบจำลองอาจพลาดรูปแบบจริง การเพิ่มอิสระมักช่วยในช่วงแรก แนวคิดคลาสสิกเสนอว่าการเพิ่มอิสระต่อไปในที่สุดจะก่อปัญหาเพราะปรับตามสัญญาณรบกวน

แต่แบบจำลองบางชนิดแสดงเส้นโค้งต่างออกไป ความผิดพลาดบนตัวอย่างใหม่อาจเพิ่มใกล้จุดที่แบบจำลองเริ่มปรับให้ตรงกับป้ายฝึกทั้งหมดได้ แล้วลดลงอีกเมื่อแบบจำลองใหญ่ขึ้น บทความเรียกสิ่งนี้ว่าการลดลงสองครั้ง

สำหรับค่าสองค่า −1 และ +1 ค่าเฉลี่ยคือ 0 ระยะจาก 0 เมื่อยกกำลังสองคือ 1 และ 1 ซึ่งมีค่าเฉลี่ย 1 ค่าเฉลี่ยนี้เรียกว่าความแปรปรวน บทความศึกษาตัวแปรสุ่มที่เลือกอย่างเป็นอิสระและมีความแปรปรวน 1 น้ำหนักจริงเป็นศูนย์ จึงไม่มีสัญญาณของเป้าหมาย สัญญาณรบกวนสุ่มก็มีความแปรปรวน 1 ผลลัพธ์เปรียบเทียบจำนวนน้ำหนักกับจำนวนตัวอย่างเมื่อทั้งคู่มีขนาดใหญ่

function varianceByRatio(ratios) {
  const variance = [];
  for (const ratio of ratios) {
    if (!(ratio > 0) || ratio === 1) {
      throw new Error('อัตราส่วนต้องเป็นบวกและไม่เท่ากับ 1');
    }
    if (ratio < 1) variance.push(ratio / (1 - ratio));
    else variance.push(1 / (ratio - 1));
  }
  return { ratios, variance };
}
const result = varianceByRatio([0.5, 0.75, 1.5, 3]);

ภาพประกอบใช้จำนวนข้อผิดพลาดสมมติสำหรับขนาดต่าง ๆ เลื่อนตัวควบคุมแล้วอ่านค่าบนกราฟ นี่ไม่ใช่หลักฐานจากการทดลองหรือคำทำนายสำหรับเครือข่ายของคุณ

บทความวิเคราะห์การถดถอยเชิงเส้นบางกรณีที่สามารถอนุมานพฤติกรรมเช่นนี้ทางคณิตศาสตร์ได้ พารามิเตอร์ที่มากขึ้นช่วยหรือไม่ขึ้นอยู่กับการแจกแจงข้อมูลเข้า ความสัมพันธ์ และอัลกอริทึมการเรียนรู้ ใหญ่กว่าไม่ได้ดีกว่าเสมอ