True Positive, Precision, Recall

Данные метрики в основном используются в бинарной классификации.

Основные определения:

True Positive - верный ответ "ДА"

False Positive - ложное срабатывание. Это когда модель говорит да, но на самом деле "НЕТ".

False Negative - это когда модель не смогла определить. Сказала нет, хотя на самом деле "ДА".

True Negative - модель верно определила "НЕТ".

  Ответ модели
Нет (0)  Да (1)
Правильный
ответ
Нет (0) True Negative False Positive
Да (1) False Negative True Positive

Precision, Recall

Данные метрики используются для обозначения качества обучения

Значение Precision вычисляется по формуле:

\(Precision = \frac{TP}{TP + FP}\)

Оно означает. Сколько ложных срабатываний делает модель. Чем выше значение, тем меньше ложных срабатываний.

Значение Recall вычисляется по формуле:

\(Recall = \frac{TP}{TP + FN}\)

Оно означается. Насколько точно модель выявляет признаки из всех доступных признаков. Если значение низкое, то модель много пропускает признаков. Если значение максимальное, то модель корректно определяет все признаки.

F1 Score вычисляется по следующей формуле:

\(F_1 = \frac{2}{ recall^{-1} + precision^{-1} } = 2\frac{precision * recall}{ recall + precision } = 2\frac{2 tp}{ 2tp + fp + fn }\)

Дополнительные материалы

  1. Precision and recall (wikipedia)
  2. Как делать бинарную классификацию