Dublettenprüfung im CRM: Dubletten finden, zusammenführen und künftig vermeiden

Dubletten entstehen fast von selbst. Ein Kontakt kommt über das Webformular, derselbe über eine Messeliste, ein dritter Eintrag beim Import aus dem alten System. Im CRM stehen dann „Müller GmbH“, „Mueller G.m.b.H.“ und „Müller Gesellschaft mbH, Balingen“. Für den Vertrieb ist das lästig. Für KI-Agenten, die mit diesen Daten arbeiten sollen, ist es ein echtes Problem: Sie schreiben denselben Kunden doppelt an, übersehen eine offene Reklamation im zweiten Datensatz oder rechnen Umsätze falsch zusammen.

Warum einfache Prüfungen nicht reichen

Viele Werkzeuge vergleichen Felder Zeichen für Zeichen und finden damit nur exakte Doppelungen. Typische Abweichungen rutschen durch:

• Schreibweisen: ü und ue, ß und ss, „Straße“ und „Str.“
• Rechtsformen: GmbH, G.m.b.H., Gesellschaft mit beschränkter Haftung
• Tippfehler: „Schmidt“ und „Schmitt“, vertauschte Buchstaben
• Formate: Telefonnummern mit +49, 0049 oder 07433, mit und ohne Leerzeichen
• Kaputte Umlaute: „Müller“ statt „Müller“ nach einem fehlerhaften Import
• Verteilte Angaben: dieselbe Person einmal mit privater, einmal mit geschäftlicher E-Mail-Adresse

So funktioniert eine gründliche Dublettenprüfung

• Normalisieren: Vor dem Vergleich werden alle Werte vereinheitlicht. Kleinschreibung, Umlaute ausgeschrieben, Rechtsformen und Satzzeichen entfernt, Telefonnummern ins internationale Format gebracht.
• Ähnlichkeit messen: Geprüft wird auf Ähnlichkeit statt auf Gleichheit. Verfahren wie die Levenshtein- oder die Jaro-Winkler-Distanz messen, wie stark sich zwei Werte unterscheiden. Für deutsche Namen eignet sich zusätzlich die Kölner Phonetik, die Wörter nach ihrem Klang vergleicht. So landen „Meyer“, „Maier“ und „Mayr“ in derselben Gruppe.
• Felder kombinieren: Ein ähnlicher Name allein ist noch keine Dublette. Erst zusammen mit Postleitzahl, der Domain der E-Mail-Adresse oder der Telefonnummer ergibt sich ein belastbarer Treffer.
• Treffer bewerten: Jedes Paar bekommt eine Punktzahl. Eindeutige Fälle werden automatisch zusammengeführt, Grenzfälle prüft ein Mensch.
• Nach Regeln zusammenführen: Vorher wird festgelegt, welcher Datensatz führt und welcher Wert bei Widersprüchen gilt, zum Beispiel die zuletzt bestätigte Adresse oder die Angabe aus dem ERP.

Dubletten in Excel finden

Für einen ersten Überblick reicht Excel. Über Start → Bedingte Formatierung → Regeln zum Hervorheben von Zellen → Doppelte Werte werden identische Einträge farbig markiert, über Daten → Duplikate entfernen gelöscht. Eine Hilfsspalte mit =ZÄHLENWENN(A:A;A2)>1 zeigt, welche Zeilen mehrfach vorkommen.

Das funktioniert nur bei exakt gleichen Werten. Ähnliche Schreibweisen findet Excel so nicht. „Duplikate entfernen“ behält außerdem einfach den ersten Eintrag, auch wenn der zweite vollständiger ist. Arbeiten Sie deshalb immer auf einer Kopie.

Unser kostenloser CRM-Datencheck geht weiter. Sie laden einen Export als CSV oder Excel und sehen Dubletten auch bei abweichender Schreibweise, dazu fehlerhafte E-Mail-Adressen und Telefonnummern und kaputte Umlaute. Die Datei verlässt Ihren Browser dabei nicht.

Was CRM-Systeme selbst können

Salesforce, Microsoft Dynamics 365 und HubSpot bringen eigene Regeln zur Dublettenerkennung mit. Sie eignen sich gut, um bei der Eingabe vor einem doppelten Kontakt zu warnen. Für die einmalige Bereinigung eines über Jahre gewachsenen Bestands reichen die Standardregeln oft nicht, weil sie nicht alle Schreibvarianten, Rechtsformen und Firmenverflechtungen abdecken.

Dubletten dauerhaft vermeiden

• Prüfung bei der Eingabe: Das CRM warnt, bevor ein ähnlicher Kontakt neu angelegt wird.
• Prüfung beim Import: Messelisten und Exporte aus anderen Systemen laufen zuerst durch die Dublettenprüfung.
• Einheitliche Formate: Telefonnummern und Adressen werden immer im selben Format gespeichert.
• Eine führende Quelle: Für jedes Feld ist festgelegt, welches System gilt, zum Beispiel das ERP für Rechnungsadressen.
• Regelmäßige Kontrolle: Eine monatliche Auswertung zeigt, ob die Zahl der Dubletten wieder steigt.

Dubletten und Datenschutz

Saubere Daten sind auch eine Pflicht. Nach Art. 5 DSGVO müssen personenbezogene Daten sachlich richtig und erforderlichenfalls auf dem neuesten Stand sein. Beim Zusammenführen sollten Sie jede Änderung protokollieren und Werbewidersprüche aus allen zusammengeführten Datensätzen übernehmen. Sonst bekommt ein Kunde, der widersprochen hat, über seinen zweiten Datensatz doch wieder Werbung.

Ist Ihr Bestand groß oder soll ein KI-Agent darauf arbeiten, übernehmen wir die Bereinigung mit abgestimmtem Regelwerk und einem Protokoll jeder Änderung. Mehr dazu unter CRM-Daten.