คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึก

ซิกมอยด์ที่ปรับมาตราส่วนเข้าใกล้ฟังก์ชันขั้น

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

ฟังก์ชันและอนุพันธ์ · อธิบายการจับคู่และการเปลี่ยนแปลงของผลลัพธ์

เวกเตอร์โครงการมีสองคุณลักษณะ เมทริกซ์ฝึกมี n แถวและสองคอลัมน์ ใช้เครื่องมือเมื่อสมมติฐานตรงกัน

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

บทบาท: เครื่องมือคณิตศาสตร์ / ฟังก์ชันและอนุพันธ์

ข้อมูลเข้าหรือสมมติฐาน: ฟังก์ชันและอาร์กิวเมนต์
ผลลัพธ์หรือข้อสรุป: ค่าหรืออนุพันธ์

บริบทของกลุ่ม ตัวอย่างโค้ดด้านล่างมีข้อมูลเข้าและผลลัพธ์ของตัวเอง

กลุ่มที่เกี่ยวข้อง

สนับสนุน: กฎทำนายและชั้นของเครือข่าย
สนับสนุน: การเรียนรู้และการปรับพารามิเตอร์

ดูแผนที่แนวคิด

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2.2 โครงข่ายแสดงคำตอบที่ต้องการได้หรือไม่

สำหรับซิกมอยด์ การเพิ่ม a บวกทำให้ผลลัพธ์เข้าใกล้ 1 เมื่อ x>0 และ 0 เมื่อ x<0 ที่ x=0 ผลลัพธ์ยังเป็น ρ(b)

ตัวอย่างใช้ซิกมอยด์โลจิสติกและ b=0 ดังนั้นค่าขอบเขตคือ 1/2

ลิมิตนี้ใช้ในการให้เหตุผลเรื่องการประมาณสากลของต้นฉบับ

ตัวอย่างสูตรต้นฉบับ

\varrho(ax+b)\to\mathds{1}_{(0,\infty)}(x)+\varrho(b)\mathds{1}_{\{0\}}(x)

ค่าประมาณ · โค้ดคำนวณมาตราส่วนจำกัด ไม่ได้คำนวณลิมิตหรือพิสูจน์ข้ออ้างต้นฉบับสำหรับซิกมอยด์ทุกชนิด

สัญลักษณ์

$a$: มาตราส่วนบวกที่เข้าใกล้อนันต์
$b$: ค่าชดเชยจำนวนจริงคงที่ เป็นศูนย์ในตัวอย่าง
$ρ$: ฟังก์ชันกระตุ้นซิกมอยด์

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

มาตราส่วนบวก ax

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

input.a = 4
input.x = 1

คำนวณที่นี่

นิพจน์ผลลัพธ์: { value, limit }

value = sigmoid(input.a * input.x) ใช้: sigmoid, input.a, input.x
limit = input.x > 0 ? 1 : input.x === 0 ? sigmoid(0) : 0 ใช้: input.x, sigmoid

ส่งกลับ

ผลลัพธ์ตัวอย่าง

value: ≈0.982
limit: 1

JavaScript

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ตัวบ่งชี้ค่าบวกอย่างเคร่งครัดไม่รวมศูนย์ ตัวบ่งชี้เซตจุดเดียวแยกต่างหากเก็บค่า ρ(b) ที่ถูกต้องเมื่อ x=0 ต้นฉบับใช้ลิมิตรายจุดนี้ขณะพัฒนาคุณสมบัติการจำแนกของฟังก์ชันกระตุ้นซิกมอยด์

แหล่งอ้างอิง: ลิมิตซิกมอยด์