Effiziente Dublettenerkennung f?r gro?e Adressbest?nde

Dublettenerkennung bezeichnet einen Prozess zur Ermittlung hnlicher oder identischer Datens tze, die sich auf das gleiche Objekt der realen Welt beziehen. Eine besondere Bedeutung hat diese im Rahmen einer Datenbereinigung zum Beispiel nach dem Zusammenf hren verschiedener Datenbest nde mit m glichen berlappungen. In diesem Zusammenhang haben sich in den letzten Jahren einige interessante Entwicklungen ergeben. Zum einen steigen die erfassten Datenmengen immer weiter an, so dass Algorithmen an Bedeutung gewinnen, die auch in solchen gro en Datenbest nden effizient arbeiten. Zum anderen steigt durch die st rkere Verbreitung von Mehrkernprozessoren und die zunehmende Zentralisierung von IT-Diensten (vgl. Cloud Computing) auch der Bedarf an L sungen, die in solchen Umgebungen optimal arbeiten und sich gut skalieren lassen. Der hier vorgestellte L sungsansatz zur Dublettenerkennung kombiniert einen modernen und effizienten Algorithmus mit den Vorz gen einer zentralen und dienstorientierten Architektur.