Оценка качества моделей машинного обучения: выбор, интерпретация и применение метрик
Шрифт:
Важно учитывать, что эти диапазоны являются общими ориентирами и могут варьироваться в зависимости от конкретной области применения и задачи. Например, в критически важных областях, таких как медицинская диагностика, требуется более высокая точность и полнота, чем в менее критических сценариях, таких как рекомендации контента.
Метрика Accuracy (Точность)
Метрика Accuracy (Точность) является одной из наиболее базовых и понятных метрик для оценки качества работы алгоритма классификации. Она измеряет
Метрика Accuracy рассчитывается следующим образом:
Accuracy = (TP + TN) / (TP + TN + FP + FN)
где:
TP (True Positives) – количество правильно классифицированных положительных объектов;
TN (True Negatives) – количество правильно классифицированных отрицательных объектов;
FP (False Positives) – количество неправильно классифицированных положительных объектов (ложные срабатывания);
FN (False Negatives) – количество неправильно классифицированных отрицательных объектов (пропущенные срабатывания).
Accuracy принимает значения в диапазоне от 0 до 1 (или от 0% до 100%). Чем ближе значение Accuracy к 1 (или 100%), тем лучше работает алгоритм классификации.
Однако, стоит отметить, что метрика Accuracy не всегда является оптимальным выбором для оценки качества классификации, особенно если в наборе данных есть сильный дисбаланс классов. В таких случаях использование других метрик, таких как Precision, Recall или F1-score, может быть более информативным и адекватным.
Пример № 1:
Пусть у нас есть 100 пациентов, из которых 90 здоровы, и 10 больны. Модель правильно классифицирует всех 90 здоровых пациентов и 10 больных пациентов. В этом случае:
TP (True Positives) = 10 (правильно классифицированные больные пациенты)
TN (True Negatives) = 90 (правильно классифицированные здоровые пациенты)
FP (False Positives) = 0 (нет ошибок при классификации здоровых пациентов)
FN (False Negatives) = 0 (нет ошибок при классификации больных пациентов)
Теперь рассчитаем Accuracy:
Accuracy = (TP + TN) / (TP + TN + FP + FN) = (10 + 90) / (10 + 90 + 0 + 0) = 100 / 100 = 1.0 или 100%
В данном примере точность модели составляет 100%.
Пример № 2:
В задаче классификации картинок с котами и собаками у нас есть 1000 картинок, и модель правильно классифицировала 900 из них. Допустим, 500 картинок изображают котов, а другие 500 – собак. Пусть модель правильно классифицировала 450 картинок с котами и 450 картинок с собаками. В этом случае:
TP (True Positives) = 450 (правильно классифицированные картинки с котами)
TN (True Negatives) = 450 (правильно классифицированные картинки с собаками)
FP (False Positives) = 50 (картинки с собаками, классифицированные как коты)
FN (False Negatives) = 50 (картинки с котами, классифицированные как собаки)
Теперь рассчитаем Accuracy:
Accuracy = (TP + TN) / (TP + TN + FP + FN) = (450 + 450) / (450 + 450 + 50 + 50) = 900 / 1000 = 0.9 или 90%
В данном примере точность модели составляет 90%.
Метрика Precision (Точность)
Метрика Precision (Точность) –
это одна из метрик качества работы алгоритма классификации, которая показывает, насколько точно модель предсказывает положительный класс. Precision фокусируется на правильно классифицированных положительных объектах и ложных срабатываниях (ложноположительные результаты).Метрика Precision рассчитывается следующим образом:
Precision = TP / (TP + FP)
где:
TP (True Positives) – количество правильно классифицированных положительных объектов;
FP (False Positives) – количество неправильно классифицированных положительных объектов (ложные срабатывания).
Precision принимает значения в диапазоне от 0 до 1 (или от 0% до 100%). Чем ближе значение Precision к 1 (или 100%), тем точнее модель предсказывает положительный класс.
Важно отметить, что метрика Precision не учитывает ошибки второго рода, то есть пропущенные срабатывания (False Negatives). В некоторых ситуациях, особенно когда пропущенные срабатывания могут иметь серьезные последствия (например, в медицинской диагностике), лучше использовать другие метрики, такие как Recall (полнота) или F1-score, которые учитывают и ошибки первого, и второго рода.
Пример № 1: В задаче определения спам-писем почты, модель может быть настроена таким образом, чтобы допустить только небольшое количество ложных срабатываний. Если модель правильно определила 10 спам-писем из 15, то точность модели для класса спам будет 66.7%.
давайте распишем пошаговое решение для метрики Precision (Точность) на примере № 1:
Определите класс, для которого вы хотите рассчитать точность. В данном примере это класс "спам".
Разделите все примеры на 4 категории: True Positive (TP), False Positive (FP), True Negative (TN) и False Negative (FN). В данном примере это:
TP: модель правильно определила спам-письмо как спам (10 писем).
FP: модель неправильно определила не спам-письмо как спам (5 писем).
TN: модель правильно определила не спам-письмо как не спам (0 писем).
FN: модель неправильно определила спам-письмо как не спам (0 писем).
Рассчитайте точность как отношение TP к общему числу положительных ответов (TP + FP):
Precision = TP / (TP + FP) = 10 / (10 + 5) = 0.667 = 66.7%
Таким образом, в данном примере модель правильно определила 10 из 15 спам-писем, что соответствует точности в 66.7%.
Пример № 2:
В задаче классификации новостей на две категории – политика и спорт – модель классифицировала 200 статей, из которых 150 статей по политике и 50 статей по спорту. Модель правильно определила 120 статей по политике и 40 статей по спорту. Однако, 30 статей по политике модель неправильно классифицировала как спортивные статьи, а 10 спортивных статей – как статьи по политике. Рассчитаем метрику Precision для класса "политика".
Определите класс, для которого вы хотите рассчитать точность. В данном примере это класс "политика".