Overfitting oldugunu nasil anlariz?

[ZeberusZeberus is verified member.]

Overfitting olduğunu nasıl anlarız?

Overfitting, modelinizin size verilen veri setini öğrenmek yerine ezberlemesine denir. Bunu çok basit bir şekilde anlarız. Modelimizi veriyi öğrendiği veri seti üzerinde çalıştırıldığında verdiği sonuçlarla çok iyi iş çıkartırken, görmediği bir veri setinden berbat bir sonuç verir.
Model overfitting nedir?
Bir model çok fazla veriyle eğitilirse bazen aşırı öğrenmiş yani ezberlemiş oluyor. Bu duruma overfitting deniliyor. Modelin eğitim verilerinden "aşırı öğrendiği" durumdur.

Underfitting vs overfitting nedir?

Kısaca tanımlayalım. Model underfitting olmuşsa, verilerin altında yatan mantığı kavrayamamış demektir. Model bu veriler ile ne yapacağını bilemez ve doğru olmayan sonuçlar verir. Diğer durumda, yani model overfitting olmuşsa, veri setine çok fazla uyum sağlar ve asıl durumu kaçırır.
Dropout layer nedir?
Düğüm Seyreltme (Dropout Layer) Özetle hidden ya da input layerdan belli kuralla göre (eşik değeri kullanarak ya da rastgele) belli nodelar kaldırılması tekniğidir.
Model karmaşıklığı, modellerin başarısındaki en önemli ölçütlerden birisidir. Bu çalışmada bugüne dek model karmaşıklığının kontrolünde öne çıkan yaklaşımlar başlıklar halinde incelenmiştir. Bunlar Occam'ın usturası, Popper'ın yanlışlanabilirliği ve istatiksel öğrenme teorisidir.
Underfitting nasıl çözülür?
Underfitting azaltmak için;
- Model karmaşıklığını arttırabilirsiniz.
- Verideki noise (göze batan, doğrusallığı bozan, saçma yerlerde bulunan, modelin kafasını karıştırabilecek) verileri temizleyin.
- Epoch süresini arttırın.
- Eğitim süresini arttırın.

Hiperparametreler nelerdir?

Ne olması gerektiği, modeli tasarlayan kişiye bırakılmış, probleme, veri setine göre değişiklik gösteren parametreler hiper-parametre (hyperparameters) olarak adlandırılmaktadır. Modelin yüksek başarım sağladığı birbirinden farklı hiper parametre grupları olabilmektedir.
Regularizasyon nedir?
Regularization teknikleri genelde tasarlanan modelde overfitting önleyerek başarımı artırmak için kullanılmaktadır. Buna ek olarak başarımı düşürmeden modelin karmaşıklığını (complexity) azaltmak için de kullanıldığı durumlar vardır.