Cómo diseñar reglas de conciliación de datos reutilizables

La mayor parte de la lógica de conciliación está escondida en fórmulas de Excel y en la memoria del analista. El mismo mapeo, el mismo corte y la misma tolerancia se recrean cada mes, y el proceso cambia cada vez que cambia el analista. Una regla de conciliación reutilizable documenta una decisión, nombra sus entradas y su salida, y puede probarse, versionarse y repetirse. Esta guía muestra cómo diseñar esas reglas.

Recorra la anatomía de una regla y aplíquela a las decisiones de emparejamiento, tolerancia, calendario y excepción. El resultado es una pequeña biblioteca de reglas estables que hacen reproducible cada corrida mensual y deliberado cada cambio.

Anatomía de una regla

Toda regla tiene las mismas partes. Un nombre estable y único, como R_01_Map_Product_Store_Period. Un responsable que responde por su lógica. Un conjunto de entradas con nombre, como el archivo de sell-out, el maestro de producto y el mapeo de tiendas. Un cuerpo que declara la decisión en palabras y, donde sea útil, en una fórmula. Una salida que nombra qué produce la regla, como un conjunto de datos mapeado o un veredicto de pasa o excepción. Y fechas de vigencia que indican cuándo empezó la regla y cuándo deja de aplicarse.

Si una regla no puede describirse en una frase, divídala. Una regla que mapea códigos de producto, aplica una tolerancia y asigna un responsable son tres reglas, no una.

Entradas y salidas

Anote las entradas exactas que espera una regla: archivo, columna, clave y tabla de referencia. Una regla que depende de un archivo sin nombre o de una columna supuesta no puede repetirse de forma fiable, porque la siguiente persona no puede reconstruir lo que consumió. Nombre también la versión de cada tabla de referencia, para que un cambio en el maestro de producto no altere en silencio el comportamiento de la regla.

Declare la salida al mismo grano que la decisión. Una regla de emparejamiento produce un conjunto de datos unido; una regla de tolerancia produce un pasa o excepción para cada fila emparejada; una regla de calendario produce una etiqueta de período. Cuando la salida es clara, la siguiente regla puede usarla como entrada.

El orden de las reglas importa

Las reglas corren en una secuencia definida, y las reglas posteriores dependen de las salidas de las anteriores. Estandarice antes de mapear, mapee antes de comparar, compare antes de aplicar la tolerancia y aplique la tolerancia antes de clasificar excepciones. Si el orden cambia, las mismas reglas pueden producir resultados distintos, así que documente la secuencia junto a las reglas.

Registre el orden explícitamente. Cuando se añade una regla nueva, colóquela en la secuencia e indique qué reglas existentes consumen su salida y de cuáles se alimenta.

Las tolerancias son decisiones, no valores por defecto

Una tolerancia indica cuán grande debe ser una diferencia emparejada antes de convertirse en excepción. Puede ser absoluta, como cinco unidades, relativa, como el dos por ciento del total mayor, o una combinación. Nombre la referencia sobre la que aplica la tolerancia, o la regla será ambigua cuando los dos lados difieran.

Defina las tolerancias con evidencia, no por costumbre. Una tolerancia demasiado laxa esconde problemas reales; una demasiado estricta inunda la cola de excepciones con ruido. Documente por qué se eligió el nivel y revíselo cuando las excepciones recurrentes muestren que es demasiado amplia o demasiado estrecha.

Las fechas de vigencia hacen deliberado el cambio

Cada regla lleva una fecha de inicio de vigencia y una fecha opcional de fin. Cuando un retailer cambia su código de producto o un mercado cambia su calendario, la regla cambia en una fecha definida en lugar de en una fórmula editada sin registro. Las reglas con fechas de vigencia también explican corridas históricas: la versión que aplicaba en enero puede diferir de la que aplica ahora.

Trate una fórmula editada como una versión nueva con una nueva fecha de vigencia. La versión anterior sigue disponible para que los resultados pasados sigan siendo reproducibles y los cambios futuros sigan siendo trazables.

Pruebe cada regla antes de que corra

Dé a cada regla un pequeño conjunto de casos de prueba fijos que cubran el comportamiento normal y los casos límite. Para una regla de emparejamiento, pruebe una fila emparejada, un producto sin mapear y una clave duplicada. Para una regla de tolerancia, pruebe un pasa, una diferencia marginal y una excepción clara. Para una regla de calendario, pruebe una fecha en el límite del período y una fecha fuera de él.

Ejecute las pruebas cada vez que cambie la regla y antes de cada ciclo si cambiaron las entradas. Una regla que pasa sus pruebas es repetible por diseño, no por memoria.

El versionado conserva el rastro

Guarde cada versión de la regla con su nombre, número de versión, fecha de cambio, autor y motivo del cambio. Conserve todas las versiones en lugar de sobrescribirlas. El historial de versiones responde a dos preguntas que se repiten en toda conciliación: qué lógica produjo los números del mes pasado y qué cambió desde entonces.

Mantenga el historial de versiones en el mismo lugar que la regla, para que la documentación y la lógica ejecutable no se separen.

Las excepciones que producen las reglas

Las reglas deben producir una cola de excepciones predecible. Un conjunto de reglas bien diseñado separa tres tipos de salida: registros que pasan, registros que se convierten en excepción y registros que necesitan una decisión humana porque la regla no puede clasificarlos. Diseñe cada regla para indicar qué tipo produce y por qué.

1. Pasa dentro de tolerancia. La regla declara la tolerancia y la referencia utilizada.
2. Excepción con una categoría basada en la causa, como calendario, mapeo, movimiento o calidad de fuente.
3. Derivación cuando a la regla le falta evidencia para decidir, como un identificador sin mapear que espera la cola de datos maestros.

No permita que una regla descarte en silencio una fila que no puede clasificar. Una salida de derivación mantiene visible la decisión y completa la cola.

Documentación que viaja con la regla

Documente cada regla en lenguaje claro junto a su lógica: qué hace, por qué existe, de qué depende y quién la posee. La documentación debe permitir que alguien que nunca ha visto el proceso aplique la regla correctamente y la explique en una revisión. Escríbala para la siguiente persona, porque probablemente sea el motivo por el que la regla necesita explicarse.

Una biblioteca de reglas documentadas es el precursor natural de la automatización. Cuando las reglas son estables y están probadas, automatizarlas es un paso mecánico; cuando no lo están, la automatización solo hace más rápida la lógica oculta.

Conclusión práctica

Diseñe las reglas de conciliación como decisiones documentadas y con nombre, con entradas, salidas, orden, tolerancias, fechas de vigencia, pruebas y un responsable explícitos. Conserve todas las versiones y escriba la documentación para la siguiente persona. Una pequeña biblioteca de reglas reutilizables hace reproducible cada corrida mensual, deliberado cada cambio y directo el paso hacia la automatización.

El servicio de conciliación de datos y controles de Marksyte puede diseñar la biblioteca de reglas, y su servicio de mapeo e integración de datos puede implementarla en los sistemas fuente.

Preguntas frecuentes