Проверка вне выборки
Out-of-sample test
Испытание правил на участке данных, который не использовался при их настройке.
Как читать значение
Разделение данных на настроечную и проверочную части превращает красивую кривую в утверждение, которое можно опровергнуть.
Когда показатель врёт
Проверочный участок изнашивается от повторного использования: если по его итогам правила правились, он давно стал частью настройки и ничего больше не проверяет.
Также называют: форвардный тест