Underfitting und Overfitting
Verändern Sie Datenmenge und Polynomgrade. Ein sehr kleiner Trainingsfehler bei deutlich höherem LOOCV-Fehler (Leave-One-Out Cross-Validation,LOOCV) weist auf Overfitting hin. Sind beide Fehler hoch, spricht dies für Underfitting.
Parameter
Berechnung mit LOOCV
Bei Datenpunkten entstehen ebenso viele Durchgänge. In jedem Durchgang wird ein anderer Punkt als Testpunkt weggelassen.
- Das Modell wird mit den übrigen Datenpunkten trainiert.
- Der Trainings-RMSE wird auf den Trainingspunkten dieses Durchgangs berechnet.
- Der Vorhersagefehler des ausgelassenen Testpunkts wird gespeichert.
Der angezeigte mittlere Trainings-RMSE ist das arithmetische Mittel der Trainings-RMSE-Werte aller Durchgänge.
Der LOOCV-Test-RMSE ist die Wurzel aus dem Mittelwert der quadrierten Fehler aller ausgelassenen Testpunkte.
Die Test-RMSE-Werte der einzelnen Durchgänge werden nicht einfach gemittelt: Bei nur einem Testpunkt wäre der jeweilige RMSE gleich dem absoluten Fehler. Dessen Mittelwert wäre ein MAE und kein RMSE.