Si no tenés etiquetas completas, no midas tu modelo solo con precision y recall. En fraude, los contracargos suelen aparecer entre 30 y 90 días, y a veces hasta 120 días. Entonces, si evaluás demasiado pronto, el modelo puede parecer mejor de lo que fue.
Yo lo bajaría a esto:
En otras palabras: sin etiquetas completas, yo usaría un sistema de 4 capas para no tomar decisiones a ciegas.
| Capa | Para qué la uso | Qué miro |
|---|---|---|
| Métricas proxy | Ver si algo cambió hoy | p50, p90, p95, bandas de riesgo, cola de revisión |
| Revisión manual parcial | Tener una muestra con etiqueta humana | Muestreo por banda, precisión por subconjunto, IC del 95% |
| Backtest con demora | Medir con fraude que aparece tarde | Cohortes por fecha y ventanas de 30/60/90 días |
| Monitoreo de drift | Detectar desvíos antes de ver más contracargos | PSI, KS, overrides, segmentos por canal y pago |
Hay dos números que yo no perdería de vista:
La idea del artículo es simple: medir temprano con proxies, confirmar con muestras, validar con demora y vigilar cambios por segmento. Con eso, puedo ajustar umbrales sin esperar meses ni confiar en una base etiquetada que ya nace torcida.
Sistema de 4 Capas para Medir Modelos de Fraude Sin Etiquetas
Ahora llevá ese marco a señales que ya podés medir en producción.
La idea es simple: medí el modelo con señales de producción, no con etiquetas completas.
Calculá percentiles diarios y semanales - p50, p90 y p95 - sobre el puntaje de riesgo. Si ves un salto en p90 o p95, eso suele marcar drift o una rotura en el pipeline de datos.
Las bandas de riesgo - Bajo, Medio, Alto y Crítico - convierten ese puntaje continuo en decisiones operativas. Dicho de forma simple: qué se autoaprueba, qué pasa a revisión manual y qué se autorechaza. Monitoreá el porcentaje de órdenes y el volumen en ARS que cae en cada banda. Si la banda Crítico crece mucho frente a su línea base reciente, puede haber un problema en el pipeline o un cambio real en el comportamiento de compra.
Mantené la revisión manual por debajo del 2% de las transacciones totales. Cuando supera el 5%, la cola ya suele transformarse en un cuello de botella y hace falta ajustar umbrales o automatizar más decisiones. Si la cola sube y no hubo un pico de ventas que lo explique, el corte entre Medio y Alto probablemente esté mal calibrado.
También podés usar KPIs de negocio como señales indirectas: tasa de autorización, conversión, cancelaciones después de fricción y ARS en bandas Alto y Crítico.
Por ejemplo, si tocás un umbral y después cae la conversión, lo más probable es que estés frenando clientes legítimos. En cambio, una autorización alta seguida por más contracargos suele apuntar a umbrales demasiado laxos. El volumen en ARS dentro de las bandas Alto y Crítico muestra cuánta plata está bajo revisión. Y si ese monto se concentra de forma despareja en un segmento puntual, puede marcar sesgo del modelo contra cierto método de pago o cierta región.
| Métrica proxy | Qué mide | Cómo calcularla | Ventajas | Limitaciones |
|---|---|---|---|---|
| Estabilidad del puntaje | Consistencia del modelo en el tiempo | Percentiles diarios y semanales (p50, p90, p95) sobre el puntaje | Detecta drift y problemas de pipeline de forma temprana | No confirma si los puntajes reflejan fraude real |
| Volumen de cola de revisión | Carga operativa y capacidad de decisión del modelo | % de órdenes enviadas a revisión manual / total de órdenes; ARS en cola; tiempo promedio en cola | Mide eficiencia y cuellos de botella | Una cola chica también puede querer decir que el modelo es demasiado permisivo |
| KPIs de negocio | Impacto de los umbrales en ingresos y experiencia del cliente | Tasa de autorización, conversión, cancelaciones tras fricción y ARS en bandas Alto/Crítico | Están alineados con el negocio y muestran efectos en tiempo real | También dependen de factores como UX, estacionalidad e inflación |
| Coincidencia con reglas históricas | Coherencia entre el modelo principal y patrones conocidos | Correlación entre los puntajes del modelo y señales de reglas heredadas o de un modelo secundario basado en soporte y reclamos | Sirve como red de seguridad hasta tener etiquetas formales | Puede arrastrar los mismos sesgos que se busca corregir |
Estas métricas no validan fraude. Lo que hacen es decirte qué órdenes conviene revisar primero. Con esas señales, el siguiente paso es validar una muestra con revisión manual parcial.
Las métricas proxy del paso anterior pueden mostrar que el modelo está desbalanceado. Pero no te cuentan toda la historia. La revisión manual sirve para ver qué pasa dentro de cada banda de riesgo.
Acá la meta es simple: armar un subconjunto etiquetado que te permita estimar la calidad del modelo con una muestra representativa. Así evitás calibrarlo sobre una muestra sesgada.
Si las métricas proxy se desvían, validá la muestra por banda. El error más común es mirar solo los scores más altos. Eso tuerce la evaluación: ayuda a detectar falsos positivos, pero casi no dice nada sobre los falsos negativos, o sea, el fraude que el modelo no está viendo.
Lo mejor es repartir la revisión diaria por banda con muestreo estratificado. Como guía práctica, podés asignar:
Además, apuntá a un piso de 50 a 100 órdenes revisadas por banda por semana para lograr estimaciones más estables. Dentro de cada banda, el muestreo tiene que ser aleatorio o sistemático - por ejemplo, cada N.ª orden - y no depender de la intuición del analista, porque eso mete sesgo.
En picos de volumen, como CyberMonday, Hot Sale o feriados, conviene ajustar las cuotas sobre la marcha. Mantené una cobertura mínima en Bajo y Medio, pero dale prioridad a las bandas superiores si el volumen de Crítico sube de golpe.
De ese modo, la revisión deja de enfocarse solo en los casos más obvios.
Cuando cada orden revisada ya tiene una etiqueta humana - Fraude confirmado, Sospechoso sin confirmar, Cliente legítimo, Error operacional - podés calcular precisión, recall y F1 sobre el subconjunto revisado y también por banda. En este análisis, la decisión del modelo funciona como predicción para ese umbral y la etiqueta del analista se toma como verdad base.
No mires estas métricas solo en el total. Separalas por banda, porque el modelo puede rendir bien en Crítico y fallar bastante en Medio.
Si la muestra revisada es chica, sumá a cada métrica un intervalo de confianza del 95%. Por ejemplo, si en la banda Crítico tenés 80 verdaderos positivos y 20 falsos positivos, la precisión es 0,80, pero el IC puede ir de 0,71 a 0,87, según el método. Ese detalle pesa antes de tocar umbrales: si la diferencia entre dos configuraciones entra dentro del ruido estadístico, todavía no hay razón para cambiar nada.
Para ajustar umbrales, compará escenarios concretos en ARS: cuánto fraude capturás, cuánto ingreso bloqueás por falsos positivos y cuánto cuesta la revisión manual extra. Mové los umbrales en pasos chicos - 3 a 5 puntos - y medí el efecto en ciclos semanales, no después de cada caso nuevo.
La revisión manual muestra lo que se puede ver en ese momento. El problema es que muchas señales llegan después. Un cliente que confirma una compra convierte un bloqueo en un falso positivo documentado. Un mensaje por un cobro no reconocido puede destapar fraude que el modelo dejó pasar.
Las conversaciones de WhatsApp e Instagram sirven para sumar confirmaciones, reclamos y resoluciones como etiquetas incrementales. Esas interacciones pueden mapearse a órdenes puntuales y enriquecer el subconjunto revisado con el paso del tiempo. En la práctica, eso te deja sumar etiquetas incrementales con datos de soporte que ya existen.
Con esa base parcial, el siguiente paso es contrastarla con contracargos tardíos.
Con las etiquetas parciales ya listas, el backtest te deja ver cómo habría rendido el modelo en un momento en el que esos chargebacks todavía no existían. La idea es simple: ajustar umbrales sin mirar el fraude tarde de forma ingenua. Si no hacés eso, el modelo parece mejor de lo que fue. Y ahí es donde te puede jugar en contra.
Agrupá las órdenes por fecha de compra - 01/03/2026, 02/03/2026, etc. - y congelá en cada cohorte la versión exacta del modelo: parámetros y umbrales que estaban activos en ese momento. Si evaluás con una versión posterior, ya no estás midiendo lo que pasó en producción, sino una versión editada de la historia.
La ventana de maduración marca cuántos días esperás antes de cerrar la etiqueta. Los contracargos suelen aparecer entre los 30 y 90 días; en operaciones de monto alto o transfronterizas, ese plazo puede ir hasta 120 días. Por eso, evaluar a 7 días te deja una foto recortada: subestima el fraude y hace que la precisión parezca más alta de lo que fue.
Lo más útil acá es trabajar con tres horizontes al mismo tiempo: 30, 60 y 90 días. Además, conviene excluir las cohortes cuya ventana todavía no maduró. Después sí: medí cada cohorte con el mismo umbral en los tres horizontes para comparar en igualdad de condiciones.
Para cada cohorte y cada umbral, simulás qué órdenes habrían sido aprobadas, bloqueadas o mandadas a revisión. Después cruzás esas decisiones con los contracargos reportados dentro de la ventana de maduración.
Las métricas centrales son estas:
Ojo con esto: estas métricas son estimaciones, no una verdad cerrada, porque las etiquetas siguen incompletas. En fraude, eso pasa todo el tiempo. No estás viendo el universo completo; estás trabajando con lo que ya maduró.
Compará los tres horizontes con las mismas métricas para ver cómo cambia la captura a medida que madura la etiqueta.
| Horizonte | Captura de fraude (%) | ARS ahorrados | Sesgo de la estimación |
|---|---|---|---|
| 30 días | Más bajo (etiquetas incompletas) | Subestimado | Alto |
| 60 días | Intermedio | Más cercano a la realidad | Moderado |
| 90 días | Más alto (etiquetas más maduras) | Estimación más precisa | Bajo |
A medida que el horizonte se estira, la captura sube porque aparecen más fraudes tardíos en el registro. Es decir, el modelo no cambió: cambió la calidad de la etiqueta con la que lo medís. La tabla no compara modelos distintos, sino horizontes de maduración del mismo modelo. En la práctica, usá 90 días como referencia principal para definir umbrales.
Si el backtest ya te dio una línea base, el paso siguiente es mirar cuándo esa línea se mueve en producción. Con el modelo ya calibrado, conviene medir drift antes de que empiecen a subir los contracargos.
Separá tres cosas: drift de datos, cambio en la relación entre variables y fraude, y drift de score. No suelen aparecer al mismo tiempo y tampoco se corrigen de la misma manera.
El drift de datos pasa cuando cambia la distribución de los inputs. Por ejemplo: un salto en el mix de dispositivos, una variación por provincia, un giro hacia billeteras digitales o una suba del ticket promedio en ARS cerca de Hot Sale o CyberMonday. En tiendas de alto volumen, esto suele verse antes, porque la cantidad de órdenes hace que cualquier corrimiento en las distribuciones se note más.
El cambio en la relación entre variables y fraude cuesta más de ver. Acá los inputs pueden seguir parecidos, pero la relación entre esas variables y el fraude ya no es la misma. Una señal bastante clara son los overrides manuales: si los analistas liberan muchas órdenes que el modelo marcó como Crítico, o bloquean órdenes que el modelo aprobó, el modelo dejó de reflejar lo que está pasando hoy.
Para medir el drift de score, usá PSI:
El KS sirve para distribuciones continuas. Si se sostiene por encima de 0,20 durante 2 o 3 semanas consecutivas, hay que actuar.
El tablero semanal tiene que responder tres cosas: qué cambió, dónde está el riesgo y qué hacer.
| Componente | Métrica clave | Umbral de alerta |
|---|---|---|
| Estabilidad del modelo | PSI / KS en scores y features | PSI ≥ 0,25 o KS > 0,20 durante 2 o 3 semanas seguidas |
| Carga operativa | Tasa de revisión manual | > 5% en una semana normal |
| Fricción con clientes | Reclamos por pagos rechazados | Aumento mayor al 50 % versus el promedio semanal |
| Señales tardías | Contracargos por cohorte (30/60/90 días) | Caída de recall ≥ 3 puntos porcentuales |
| Overrides | Órdenes Crítico liberadas manualmente | Aumento sostenido por encima de la línea base |
Con esas alertas, segmentá el monitoreo y decidí si conviene tocar umbrales, abrir revisión manual o revisar un cambio de mix. Hacelo siempre por:
El drift puede estar metido en un solo segmento y pasar desapercibido en el total. No es lo mismo ver un salto de scores Crítico solo en órdenes de ticket alto con tarjeta de crédito en cuotas que ver una suba general en toda la operación.
Las cuatro capas - métricas proxy, revisión manual, backtest y monitoreo de drift - trabajan juntas. Las señales de producción avisan rápido, las etiquetas parciales confirman y el backtest recalibra con evidencia concreta. Si el tablero se mueve, actuá por segmento; no esperes a que el problema recién aparezca en los contracargos.
Conviene usarlas cuando no hay labels completas o disponibles en el momento. En e-commerce, funcionan como una referencia mientras esperás la confirmación de un contracargo, algo que puede demorar semanas.
Sirven para detectar riesgo en tiempo real. Pero no alcanza con eso: también hay que validarlas con revisión manual y backtesting. Cuando sube fuerte el tráfico, el monitoreo constante te permite recalibrar el modelo antes de que el fraude pegue en el margen o en la conversión.
Elegí una ventana que se parezca a lo que pasa en producción y que no meta fuga de datos. En la práctica, eso significa dejar afuera cualquier dato futuro que no existiría al momento de predecir y aplicar un lag acorde al tiempo con el que suele reportarse el fraude, por lo general una semana.
Después, probá distintos anchos de ventana - por ejemplo, 1 día, 1 semana o 4 semanas - para medir cómo cambia la capacidad del modelo para separar transacciones legítimas de las fraudulentas.
Primero, evaluá si la deriva se debe a la estacionalidad o a un cambio real en los patrones de fraude. Esto suele pasar en picos como Hot Sale o Cyber Monday, cuando el comportamiento de compra cambia de golpe y el modelo puede leer mal esas señales.
Después, seguí de cerca las variables del segmento. Si baja la precisión, recalibrá o reentrená el modelo con datos actualizados. Y si el drift es crítico, combiná el scoring automático con revisión manual y ajustá los umbrales de riesgo de manera adaptativa.
