Calibración: Luchando contra la Sobresimplificación y los Datos Escasos

2025-09-21
Calibración: Luchando contra la Sobresimplificación y los Datos Escasos

Este artículo aborda un problema común en la calibración de modelos: la regresión isotónica, debido a que el conjunto de datos de calibración es mucho menor que el conjunto de entrenamiento original, sobresimplifica la distribución de probabilidad, perdiendo las distinciones granulares del modelo. El artículo analiza este fenómeno de 'aplanamiento inducido por la escasez de datos' y propone varios métodos de diagnóstico para distinguir entre la simplificación justificable debido al ruido y la sobresimplificación debido a las limitaciones de datos. Finalmente, presenta el paquete Calibre, que, al relajar las restricciones isotónicas o usar modelos monótonos suaves, mantiene la precisión de la calibración mientras preserva la mayor parte posible del poder discriminatorio del modelo original.

Leer más

Domando el Pico de Demanda Sincronizada: Un Enfoque Fundamentado

2025-08-25
Domando el Pico de Demanda Sincronizada: Un Enfoque Fundamentado

La demanda sincronizada, donde un gran número de clientes solicitan servicio casi simultáneamente, puede sobrecargar incluso sistemas con buenos recursos. Este artículo presenta un enfoque fundamentado para mitigar esto usando jitter aleatorio para distribuir las solicitudes en el tiempo. Calculando un tamaño de ventana seguro (W), las solicitudes se distribuyen uniformemente, reduciendo así la tasa de llegada de pico. El artículo también discute el uso de sugerencias del lado del servidor (como encabezados Retry-After) y la limitación de tasa para refinar la estrategia, equilibrando la estabilidad y la equidad del sistema. El enfoque se enmarca como un problema de control, enfatizando la necesidad de toma de decisiones y verificación orientadas por telemetría.

Leer más
Desarrollo diseño de sistema

El Equilibrio del Estafador: Cómo la Publicidad CPA Rompió la Señalización de Calidad

2025-07-19
El Equilibrio del Estafador: Cómo la Publicidad CPA Rompió la Señalización de Calidad

Este artículo explora cómo internet, y específicamente la publicidad de Coste por Adquisición (CPA), ha roto el mecanismo tradicional de señalización de calidad en la publicidad. Históricamente, los vendedores de alta calidad estaban más dispuestos a invertir fuertemente en publicidad debido a mayores retornos a largo plazo. Sin embargo, la publicidad CPA permite a los vendedores de baja calidad financiar anuncios desde los ingresos del primer día, socavando esta señal. Factores como la fácil creación de marcas, las sanciones leves por devoluciones, la compresión de calificaciones y la confianza del consumidor en las heurísticas de precios contribuyen a un "equilibrio del estafador" donde dominan los productos de baja calidad. El artículo presenta un modelo económico que ilustra esto y propone soluciones como identificadores de fabricante persistentes y recargos de CPA ajustados a las devoluciones para disuadir a los vendedores de baja calidad.

Leer más

Desbloqueo de datos tabulares para LLMs: Un enfoque de destilación mecánica

2025-05-09
Desbloqueo de datos tabulares para LLMs: Un enfoque de destilación mecánica

Los grandes modelos de lenguaje (LLM) sobresalen en el procesamiento de texto e imágenes, pero tienen dificultades con los datos tabulares. Actualmente, los LLM dependen principalmente de resúmenes estadísticos publicados, dejando de aprovechar completamente el conocimiento contenido en conjuntos de datos tabulares, como los datos de encuestas. Este artículo propone un nuevo enfoque que utiliza técnicas de destilación mecánica para crear resúmenes univariados, bivariados y multivariados. Esto se complementa solicitando al LLM que sugiera preguntas relevantes y aprenda de los datos. El pipeline de tres etapas implica comprender la estructura de datos, identificar los tipos de preguntas y generar resúmenes mecánicos y visualizaciones. Los autores sugieren que este enfoque puede mejorar los sistemas de Generación Aumentada por Recuperación (RAG) y complementar el 'conocimiento del mundo' potencialmente sesgado, recomendando comenzar con repositorios de artículos científicos (como Harvard Dataverse) y datos administrativos para la validación.

Leer más