🛡️ 正則化示範應用 (Regularization Demo)

點擊 / 觸碰畫布添加數據點,然後揀選唔同嘅正則化方法同λ值,睇吓模型擬合點樣改變。

數據點
無正則化模型
正則化模型
模型複雜度 3
正則化強度 (λ) 0.01

觀察重點:

  • 冇正則化模型容易「過擬合」,跟住數據點嘅雜訊
  • L2 正則化令曲線更加平滑,減少極端波動
  • L1 正則化傾向產生更加簡單嘅模型
  • λ愈大,正則化效果愈強,曲線愈簡單

正則化係咩嘢?

正則化係機器學習中防止「過擬合」嘅重要技術。過擬合指模型喺訓練數據上表現極好,但喺新數據上表現差。

主要原理

正則化通過喺成本函數加入懲罰項,限制模型嘅複雜度:

新成本函數 = 原始誤差 + λ × 懲罰項

L1 正則化 (Lasso)

懲罰項係權重嘅絕對值總和:∑|w|

特點:傾向令部分權重變成零,產生「稀疏」模型,自動執行特徵選擇

L2 正則化 (Ridge)

懲罰項係權重嘅平方和:∑w²

特點:令全部權重都變小,但好少降到零,產生更加平滑嘅模型

λ (Lambda) 嘅作用

λ控制正則化嘅強度:

  • λ值細:正則化效果弱,模型仍然可能過擬合
  • λ值大:正則化效果強,可能導致欠擬合
  • 最佳λ需要透過驗證集調整

點使用呢個示範

  1. 喺畫布上面點擊添加數據點
  2. 調節模型複雜度(多項式階數)
  3. 選擇正則化方法:L1、L2 或者冇正則化
  4. 調節λ值,觀察正則化效果
  5. 開啟「加入雜訊」,睇吓正則化如何處理雜訊數據