Comparación rápida

En otras palabras: el valor no está solo en que el modelo acierte mucho, sino en que rutee bien, no se mande solo donde no debe y ayude a vender o atender mejor mediante IA sin sumar costo por errores evitables.

Cómo evalúan los estudios a BERT para intents de clientes

Datasets, etiquetas y estructura de intents en e-commerce

Con ese marco, los papers se comparan sobre todo por benchmarks y métricas. Los datasets que más aparecen son BANKING77, CLINC150/OOS, HWU64, HINT3, ATIS y Snips. Entre ellos, HINT3 llama la atención por un motivo simple: pone a BERT frente a casos de atención en e-commerce más cercanos a producción, con escenarios como SOFMattress, Curekart y Powerplay11.

En BANKING77, los intents suelen agruparse en categorías operativas como medios de pago, estado de transacción y reclamos.

Un problema que se repite bastante es el desbalance de clases. Algunos intents tienen cientos de ejemplos; otros, apenas unos pocos. En producción, eso suele resolverse de dos maneras:

• con funciones de pérdida ponderada
• consolidando etiquetas muy granulares en categorías más amplias

La idea es simple: bajar la dispersión sin perder utilidad operativa.

Comparación de modelos y condiciones de entrenamiento

El esquema más común es ajustar un BERT preentrenado - bert-base-uncased, multilingual BERT o variantes como IntentBERT o TOD-BERT - y sumar una capa de clasificación sobre el vector [CLS].

La tabla de abajo resume las familias de modelos que más se repiten en la literatura:

En general, los estudios entrenan con parámetros parecidos y aplican early stopping sobre macro F1. Pero la brecha entre modelos no pasa solo por la precisión. También pesa el tiempo de respuesta. Un clasificador con Logistic Regression puede contestar en 4–20 ms en CPU, mientras que un BERT ajustado suele moverse entre 50 y 300 ms. Y eso pega de lleno en el costo operativo.

Métricas que usa la literatura

Más allá del entrenamiento, la diferencia de fondo aparece en cómo se mide el rendimiento. La macro F1 pesa más porque deja ver fallas en intents poco frecuentes. Si el modelo se equivoca en intents como "cambio de talle" o "reclamo por garantía", la macro F1 lo muestra aunque la accuracy global siga alta.

También se reportan métricas OOS. El punto flojo sigue siendo detectar consultas fuera de catálogo. En CLINC150, por ejemplo, BERT supera el 96 % de accuracy en intents conocidos, pero el mejor método del paper apenas llega a un 66 % de recall en ejemplos OOS.

Cuando esa detección falla, no es un detalle técnico. Impacta directo en la derivación a un agente humano y en la calidad de atención. Esto es crítico al implementar automatización de ventas en plataformas como TiendaNube.

Ese techo ayuda a entender por qué, después, los resultados técnicos terminan moviendo decisiones operativas.

Lo que muestran los resultados: ganancias de exactitud, límites con pocos datos y brechas fuera de alcance

Cómo cambia el rendimiento según el volumen de datos

Con esas métricas como punto de partida, el rendimiento cambia bastante según cuántos ejemplos tenga cada intención y si el mensaje cae o no dentro del catálogo.

Con ~25 ejemplos por intención, BERT llega a 94,6 % en ATIS y 94,0 % en SNIPS. Con 50 ejemplos, sube a 96,7 % y 95,9 %. El salto es claro: cuando el modelo ve más casos de cada intención, acierta mucho más seguido.

Ahora bien, con apenas ~10 ejemplos por intención, la exactitud baja a 45–70 %, según el dataset y el nivel de solapamiento entre clases. Eso puede servir para una prueba de concepto, pero no alcanza para automatizar sin supervisión. En ese escenario, BERT todavía puede ayudar a asistir, ordenar o priorizar casos, aunque no conviene soltarlo solo en producción.

Ese patrón se entiende mejor cuando se miran los casos reales y, sobre todo, los puntos donde el sistema empieza a fallar.

Dónde funciona bien BERT y dónde falla

BERT anda muy bien cuando las intenciones están bien definidas y hay suficientes ejemplos. Consultas directas sobre envío, cuotas o cambios de talle suelen clasificarse con alta precisión cuando hay entre 25 y 50 ejemplos por clase.

El problema aparece en tres escenarios bastante comunes.

• Consultas con más de una intención: si alguien pregunta "si compro hoy, ¿lo puedo pagar en cuotas y cuánto tarda el envío a Rosario?", un clasificador de una sola etiqueta suele elegir una intención y dejar afuera la otra.
• Intenciones poco frecuentes: casos como cambios o devoluciones en promociones especiales suelen tener muy pocos ejemplos de entrenamiento.
• Detección de consultas fuera de alcance (OOS): acá está uno de los riesgos más serios. El modelo puede asignar con alta confianza una etiqueta conocida a una consulta que, en verdad, no encaja en el catálogo.

Dicho simple: el modelo puede parecer seguro y, aun así, estar equivocado.

Adaptación de dominio y contexto conversacional

Hay dos ajustes que cambian bastante el panorama: entrenar con datos del dominio y sumar el historial de la conversación.

Modelos como IntentBERT, preentrenados con alrededor de 1.000 ejemplos etiquetados de dominios con muchas intenciones, superan a BERT genérico en escenarios few-shot por un margen de 9,4 puntos absolutos en configuraciones de 5 clases con 2 ejemplos por clase. En un e-commerce argentino, eso se traduce en algo muy concreto: usar logs reales de WhatsApp o Instagram con frases como "12 cuotas sin interés", "retirar en sucursal" o "cambio de talle" antes del fine-tuning final. Datos propios, del negocio y de los clientes: mejor fine-tuning.

El contexto multiturno también pesa. Los modelos que incorporan turnos previos mejoran entre 1 y 3,5 puntos de exactitud frente a versiones sin contexto. La diferencia se nota sobre todo en mensajes cortos y ambiguos. Frases como "¿y cuánto tarda?" o "¿me lo cambiás?" son mucho más fáciles de interpretar cuando el modelo sabe de qué venían hablando antes. En la práctica, más contexto implica menos ambigüedad y una automatización en la que da más confianza apoyarse.

Implicancias para los equipos de growth y soporte

Con esos niveles de precisión y sus límites, la conversación deja de ser solo técnica. Pasa a ser una decisión de operación: qué conviene automatizar, qué conviene escalar y qué hace falta reentrenar.

Lo que aprende el equipo de soporte de la exactitud de intención

Con macro-F1 > 0,90 en intents clave, la auto-resolución de consultas de bajo riesgo puede pasar del 60–70 % al 85–95 %. En casos como estado de pedido, devoluciones y FAQs, eso se traduce en menos derivaciones a agentes y un menor tiempo de primera respuesta.

Ahora bien, el problema aparece cuando el modelo se equivoca en intenciones de alto riesgo. Un reembolso alto en ARS, un reclamo por cargo duplicado o un envío dañado piden criterio humano, incluso si la confianza del modelo parece alta. Acá no alcanza con mirar la precisión global. Lo que manda es el riesgo de cada tipo de intención.

En growth, la lógica cambia un poco. Ya no se trata solo de resolver bien, sino de detectar a tiempo cuándo alguien está por comprar.

Lo que aprende el equipo de growth de la exactitud de intención

Para growth, el punto está en reconocer cuándo una persona tiene intención de compra. Si el modelo separa bien esa señal de una consulta meramente informativa, los flujos de recuperación de carrito pueden activarse en segundos con el incentivo correcto: un descuento en ARS, envío gratis o un recordatorio personalizado. Mucho mejor eso que llegar tarde con un mensaje genérico.

El error opuesto también pega en el negocio. Si una consulta informativa se interpreta como intención de compra, el equipo puede ofrecer descuentos antes de tiempo y comerse margen sin motivo. Por eso conviene correr experimentos controlados donde el único cambio sea la calidad del clasificador, y medir antes y después la tasa de conversión, el ticket promedio y el ingreso recuperado en ARS.

Monitoreo, reentrenamiento y controles humanos

La calidad no se mantiene sola. El catálogo cambia, las promos cambian y la forma de hablar de la gente también.

Conviene monitorear cada semana la tasa de fallback, la tasa de escalación y el drift por intención, con alertas cuando el F1 de una intención clave cae 5 puntos o más frente a la línea base. Cuando aparece drift - por promos como Hot Sale o CyberMonday, o por cambios en el catálogo - , hace falta reentrenar con conversaciones reales etiquetadas por humanos. El foco debería estar primero en las intenciones más frecuentes y en las que más cuestan cuando fallan.

Y hay otro detalle que hace una gran diferencia: en el handoff hacia un agente, enviá historial, intención, confianza y sentimiento para que la persona no arranque de cero. Plataformas como Burbuxa, que operan como un Commerce Brain en WhatsApp e Instagram con sincronización en tiempo real de pedidos, inventario y políticas, encajan bien en este esquema: los agentes de IA resuelven lo rutinario, y los casos ambiguos o de alto riesgo se escalan con todo el contexto.

Conclusión: cuándo BERT es una buena opción para clasificar intención en e-commerce

BERT funciona bien cuando las intenciones están bien definidas, aparecen seguido en las conversaciones y cuentan con suficientes ejemplos etiquetados para entrenar. Un estudio de 2021 del MIT mostró que, con apenas 25 ejemplos por intención, el modelo llegó a 94% de exactitud, frente al 98% con el conjunto completo. Ahora bien, en la práctica, el comportamiento suele ser más parejo cuando hay más de 200 ejemplos por clase y las etiquetas se aplican de forma consistente. El cambio que más pesa aparece cuando el entrenamiento usa datos del propio dominio y un esquema de etiquetado parejo. Pero ese umbral solo sirve si la evaluación también incluye casos fuera de alcance.

Por eso, la evaluación no debería frenarse en la exactitud global. También tiene que mirar precisión y recall por intención, además de cómo responde el sistema ante consultas fuera de alcance. Dicho simple: la clasificación de intención sirve cuando el sistema sabe identificar cuándo no sabe.

A partir de ahí, el foco deja de estar en el benchmark y pasa al negocio. Ahí es donde se ve si esto mueve la aguja o no. La automatización vale cuando baja el costo de atención y sube la conversión. La pregunta final no es cuánto acierta el modelo, sino cuánto mejora la operación.

Para marcas de e-commerce, un clasificador de intención vale por lo que aporta al negocio, no solo por lo que aparece en un reporte de F1. Lo que importa de verdad es esto:

• Automatización segura en intenciones de bajo riesgo
• Menos escalaciones innecesarias
• Más conversión desde WhatsApp e Instagram

Burbuxa, con sincronización en tiempo real de pedidos, inventario y políticas, lleva esas predicciones a flujos de venta y soporte.

FAQs

¿Cuántos ejemplos necesito por intención?

No hay una regla fija. El rendimiento de BERT suele mejorar cuando se entrena con ejemplos que se parecen a lo que pasa en el día a día: consultas de stock, dudas sobre envíos o reclamos.

En Burbuxa, la IA aprende a partir de los datos históricos de tu tienda - catálogos, políticas, FAQs y conversaciones pasadas - . Eso baja la necesidad de hacer etiquetado manual a gran escala y ayuda a clasificar intenciones con el contexto real de WhatsApp e Instagram.

¿Cómo detecto consultas fuera de catálogo?

Se detectan al analizar el contexto de la conversación en tiempo real y cruzarlo con los datos de inventario, productos y políticas sincronizados desde tu tienda.

En Burbuxa, el Commerce Brain identifica patrones en consultas sobre productos sin stock o por fuera de tu oferta actual. Después, el módulo Strategist los categoriza y los ordena por prioridad para avisarte sobre tendencias que aparecen en las conversaciones.

¿Qué intents conviene automatizar primero?

Conviene arrancar por los intents donde la intención de compra ya está clara. Así podés mover la aguja en lo comercial sin automatizar todo de entrada.

Un buen punto de partida suele ser este:

• consultas frecuentes de soporte
• recuperación de carritos abandonados
• venta cruzada y recordatorios de reposición

La idea es implementarlo de forma gradual. Primero probás, después medís qué pasa, y recién ahí ampliás. En esa etapa, mirá de cerca métricas como el CTR y la cantidad de carritos recuperados.