Deduplicacion Bases de Datos

La calidad de la información de una base de datos no sólo depende del tipo de información contenida en la misma y la calidad de cada uno de sus campos sino que también se basa en la consistencia y organización de la misma.

Para garantizar dicha consistencia Gupost ofrece un servicio denominado deduplicación, proceso por el cual se trata de localizar 2 o más registros de una misma persona, empresa o domicilio, al objeto de mantener únicamente un registro del mismo (identificando los duplicados).

El objetivo es la deteccion de duplicados para poder llevar a cabo una fusión de diferentes ficheros o la depuración de una determinada base de datos.

Esta localización se realiza estableciendo comparaciones entre diferentes campos de información contenidos en la base de datos. Busca similitudes dentro de los campos en base a algoritmos. Por esta razón, es fundamental que antes de realizar un proceso de deduplicación, previamente se haya normalizado el fichero.

Estos algoritmos son ajustables en función al índice de similitud que queramos establecer entre los registros. Esto es, podemos establecer diferentes parámetros a la hora de considerar si dos registros están duplicados o no.

Ejemplos (de más exacto a menos exacto):

Son duplicados cuando los registros coinciden exactamente:

Son duplicados cuando en base a parámetros, los registros se parecen:

A la hora de establecer la comparación, podemos tomar en consideración únicamente los datos de nombre y apellidos de una persona, o los datos de  nombre, apellidos y dirección completa, siempre en función del  trabajo que haya ordenado el cliente.