點擊 / 觸碰畫布添加數據點,然後揀選唔同嘅正則化方法同λ值,睇吓模型擬合點樣改變。
觀察重點:
- 冇正則化模型容易「過擬合」,跟住數據點嘅雜訊
- L2 正則化令曲線更加平滑,減少極端波動
- L1 正則化傾向產生更加簡單嘅模型
- λ愈大,正則化效果愈強,曲線愈簡單
正則化係咩嘢?
正則化係機器學習中防止「過擬合」嘅重要技術。過擬合指模型喺訓練數據上表現極好,但喺新數據上表現差。
主要原理
正則化通過喺成本函數加入懲罰項,限制模型嘅複雜度:
新成本函數 = 原始誤差 + λ × 懲罰項
L1 正則化 (Lasso)
懲罰項係權重嘅絕對值總和:∑|w|
特點:傾向令部分權重變成零,產生「稀疏」模型,自動執行特徵選擇
L2 正則化 (Ridge)
懲罰項係權重嘅平方和:∑w²
特點:令全部權重都變小,但好少降到零,產生更加平滑嘅模型
λ (Lambda) 嘅作用
λ控制正則化嘅強度:
- λ值細:正則化效果弱,模型仍然可能過擬合
- λ值大:正則化效果強,可能導致欠擬合
- 最佳λ需要透過驗證集調整
點使用呢個示範
- 喺畫布上面點擊添加數據點
- 調節模型複雜度(多項式階數)
- 選擇正則化方法:L1、L2 或者冇正則化
- 調節λ值,觀察正則化效果
- 開啟「加入雜訊」,睇吓正則化如何處理雜訊數據