Показатели справедливости
Индикаторы справедливости — это библиотека, которая позволяет легко вычислять общеизвестные метрики справедливости для бинарных и многоклассовых классификаторов. С помощью набора инструментов «Индикаторы честности» вы можете:
- Вычислить общеизвестные показатели справедливости для моделей классификации
- Сравните производительность модели в подгруппах с базовым уровнем или с другими моделями.
- Используйте доверительные интервалы для выявления статистически значимых различий
- Выполнение оценки по нескольким пороговым значениям
Используйте индикаторы справедливости через:
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
