Calibración: Luchando contra la Sobresimplificación y los Datos Escasos
Este artículo aborda un problema común en la calibración de modelos: la regresión isotónica, debido a que el conjunto de datos de calibración es mucho menor que el conjunto de entrenamiento original, sobresimplifica la distribución de probabilidad, perdiendo las distinciones granulares del modelo. El artículo analiza este fenómeno de 'aplanamiento inducido por la escasez de datos' y propone varios métodos de diagnóstico para distinguir entre la simplificación justificable debido al ruido y la sobresimplificación debido a las limitaciones de datos. Finalmente, presenta el paquete Calibre, que, al relajar las restricciones isotónicas o usar modelos monótonos suaves, mantiene la precisión de la calibración mientras preserva la mayor parte posible del poder discriminatorio del modelo original.