Una pipeline que convierte un catálogo público en un histórico de precios

El rastreo se queda en el dominio propio del competidor, respeta robots.txt, se limita el ritmo, acota hasta dónde llega y visita las páginas de precio y de producto antes que las genéricas. La recogida del catálogo va aparte: la extracción corre dentro de la página renderizada, porque ahí es donde existe una rejilla hecha en JavaScript.

• Rastreo en el mismo dominio que respeta robots.txt, se limita el ritmo y lee primero las páginas comerciales.
• Tres motores de recogida con reserva automática: una dependencia opcional ausente degrada el rastreo en lugar de tumbarlo.
• Paginación por parámetro, por enlace siguiente, listados de una sola página y desplazamiento infinito, cada caso identificado sondeando el sitio en vez de suponiéndolo.

Las categorías reales de un sitio se deducen de sus propios enlaces y de su mapa del sitio, y después se clasifican. Nada se acepta por la fuerza de esa clasificación: una puerta de resolver y extraer tiene que demostrar que la receta propuesta devuelve productos de verdad en la página en la que dice funcionar.

• Las categorías candidatas salen de la navegación del propio sitio y de su mapa del sitio, y cada una se valida antes de usarse.
• Una receta de extracción propuesta solo merece confianza cuando se demuestra que rinde productos, con una prohibición dura de inventar en la pasada de clasificación.
• La extracción de nombre y de precio cae por una cadena de alternativas y prefiere la coincidencia limpia más corta, para no confundir una ficha entera con un nombre.

Un precio en una página es una cadena con un símbolo de moneda, con un separador de miles que significa cosas distintas según el país y, a menudo, con una etiqueta de descuento al lado. Todo se analiza a importe y moneda antes de guardarse, y las marcas salen de una lista cuidada que se niega a adivinar.

• Los importes se analizan en formatos europeos, turcos y estadounidenses, con la moneda leída al lado.
• La etiqueta de porcentaje se retira antes de analizar y gana el último importe anclado a una moneda, así que un descuento nunca se guarda como precio.
• Los productos se deduplican por identidad entre pasadas, de modo que releer actualiza un producto en vez de clonarlo.

Cada pasada con un precio escribe un punto de histórico, así que la siguiente ya es una comparación. El informe de cambios se calcula con lo que hay en disco: sin llamada al modelo, sin red, sin tablas nuevas. El renderizado deja algo en estado pendiente de revisión, y la aprobación es la única ruta de código que envía.

• Subidas y bajadas, productos nuevos, productos desaparecidos y reseñas nuevas, todo calculado de forma determinista.
• Un paquete de datos en hoja de cálculo y una presentación, renderizados byte a byte igual a partir de entradas idénticas.
• Nada llega al buzón de un cliente sin que una persona lo apruebe, y sin proveedor de correo configurado el envío se niega en lugar de registrar uno que nunca ocurrió.