คณิตศาสตร์สมัยใหม่ของการเรียนรู้เชิงลึกอธิบายสำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์

แนวคิด / พื้นฐานการเรียนรู้

ฟังก์ชันกระตุ้น

โครงการเรียนรู้เพนกวิน

โครงการใช้ข้อมูลเพนกวิน Palmer ที่สมบูรณ์ 342 แถว: ชุดฝึก 240 และชุดทดสอบ 102 แถว แถวฝึกที่เลือกกำหนดการปรับสเกลและพารามิเตอร์ CSV ต้นฉบับ

โครงการนี้ฝึกน้ำหนักด้วย softmax ต่างจากแล็บในหน้าแรกที่ใช้ค่าเฉลี่ยของสายพันธุ์ที่ใกล้ที่สุด ข้อมูลวัดเพนกวินชุดเดียวกัน แต่วิธีจำแนกต่างกัน คำทำนายอาจต่างกันได้

กฎทำนายและชั้นของเครือข่าย · อธิบายหรือใช้กฎทำนาย ชั้น และพารามิเตอร์

โครงการใช้กฎเชิงเส้นกับสองคุณลักษณะ น้ำหนักที่ฝึกให้คะแนนหรือมวลที่ปรับสเกล

พิจารณาแนวคิดนี้ร่วมกับโครงการ สมมติฐานของต้นฉบับอาจต่างกัน ข้อมูลชุดนี้ไม่พิสูจน์ทฤษฎีบท

ข้อมูลเข้า: 12 × 2; ประเมินชุดทดสอบ: 102 · #58 · 40.6 มม., 193 มม.. คำตอบที่ทราบ: อาเดลี; ค่าทำนาย: อาเดลี · [≈0.7383, ≈0.2444, ≈0.01737].

ใช้ในส่วนต้นฉบับเหล่านี้: 1.2 เรียนรู้จากตัวอย่าง · 3.3 วิธีอื่นในการวัดความสามารถในการแทนฟังก์ชัน · 4.2 หาค่าใกล้เคียงด้วยการสุ่ม

ฟังก์ชันกระตุ้นเปลี่ยนจำนวนด้วยกฎคงที่ ตารางในต้นฉบับแสดงตัวเลือกหลายแบบ

ฟังก์ชันขั้นเป็น 1 เฉพาะเมื่อ x > 0 ReLU เป็นศูนย์สำหรับ x ลบ ซิกมอยด์เข้าใกล้ 0 และ 1 ผลลัพธ์อื่นแสดงสูตรในตารางต้นฉบับ

ฟังก์ชันกระตุ้นต่างกันทำให้เครือข่ายมีคุณสมบัติทางคณิตศาสตร์ต่างกัน

ตัวอย่างสูตรต้นฉบับ

ϱR(x)=max⁡{0,x},ϱσ(x)=11+e−x\varrho_R(x)=\max\{0,x\},\qquad\varrho_\sigma(x)=\frac1{1+e^{-x}}

ตรงตามนิยาม · ผลลัพธ์ตรงตามการคำนวณสำหรับข้อมูลเข้าสมมติจำนวนจำกัดนี้ ยกเว้นการปัดเศษตามปกติของคอมพิวเตอร์

สัญลักษณ์

xx
ข้อมูลเข้าจำนวนจริง
aa
พารามิเตอร์บวกในตัวอย่างรากที่สองผกผัน PReLU ยังห้าม a = 1
kk
เลขชี้กำลังจำนวนเต็มบวก

ตัวอย่างสูตรต้นฉบับ

ตัวอย่างต้นฉบับนี้ใช้ข้อมูลเข้าและสมมติฐานของตัวเอง การแก้ไขไม่เปลี่ยนโครงการ

แก้ค่าหรือโค้ด แล้วกดรัน ตัวอย่างนี้เป็นการคำนวณจำนวนจำกัด ไม่ใช่การพิสูจน์ทฤษฎีบท

ลำดับข้อมูลในตัวอย่างนี้

คุณเลือก

  • input.x = 0
  • input.a = 0.5
  • input.k = 2

คำนวณที่นี่

นิพจน์ผลลัพธ์: { linear: x, step: x > 0 ? 1 : 0, sigmoid: 1 / (1 + Math.exp(-x)), relu, powerRelu: relu ** k, parametricRelu: Math.max(a * x, x), elu: x >= 0 ? x : Math.exp(x) - 1, softsign: x / (1 + Math.abs(x)), inverseSqrtLinear: x >= 0 ? x ...

  • x = input.x ใช้: input.x
  • a = input.a ใช้: input.a
  • k = input.k ใช้: input.k
  • relu = Math.max(0, x) ใช้: x

ส่งกลับ

ผลลัพธ์ตัวอย่าง
linear
0
step
0
sigmoid
0.5
relu
0
powerRelu
0
parametricRelu
0
elu
0
softsign
0
… (14 รายการ)

อ่านตัวเลขจาก input แล้วคืนค่าผลลัพธ์ พื้นฐาน JavaScript.

ผลลัพธ์

เปิด JavaScript เพื่อรันตัวอย่างนี้

ข้อความทางเทคนิค

ตารางรวมฟังก์ชันเชิงเส้น เฮวิไซด์ ซิกมอยด์ ReLU, ReLU ยกกำลัง, ReLU แบบพารามิเตอร์, ELU, softsign, หน่วยเชิงเส้นรากที่สองผกผัน, หน่วยรากที่สองผกผัน, tanh, arctan, softplus และเกาส์ โค้ดที่แสดงคำนวณแต่ละค่า ต้นฉบับอนุญาต a = 0 สำหรับ ReLU แบบพารามิเตอร์ แต่พารามิเตอร์ร่วมที่นี่ต้องเป็นบวกตามข้อกำหนดของตัวอย่างรากที่สองผกผันด้วย

แหล่งอ้างอิง: ตาราง 1.1