4. Phase 1: Konsolidierung und Datenbereinigung 4.1 Datenimport In Phase 1 werden bestehende Stammdaten aus folgenden Anwendungen übernommen: Unitrade Gevis AddOne Addison Abhängig vom jeweiligen System kommen unterschiedliche Importverfahren infrage: direkter Datenbankzugriff API CSV XML JSON andere strukturierte Exportformate Die ursprünglichen Quelldaten müssen während der Konsolidierung unverändert erhalten bleiben. 4.2 Dublettenerkennung Die importierten Daten werden automatisiert auf mögliche Dubletten untersucht. Dabei dürfen nicht ausschließlich identische Zeichenketten verglichen werden. In die Bewertung sollen unter anderem einfließen: Firmenname Firmenname ohne Rechtsform Vorname und Nachname Straße Hausnummer PLZ Ort Land Telefonnummer Mobilnummer E-Mail-Adresse Domain Umsatzsteuer-ID Handelsregisternummer Registergericht Creditreform-Nummer weitere eindeutige Identifikatoren Das System berechnet einen Ähnlichkeits- bzw. Konfidenzwert. Beispiel: Konfidenz Bewertung 100 % sicher identisch 95 % sehr wahrscheinlich identisch 78 % mögliche Dublette 35 % wahrscheinlich unterschiedliche Datensätze Die Schwellenwerte müssen konfigurierbar sein. 4.3 Manuelle Konfliktbearbeitung Kann das System keine ausreichend sichere Entscheidung treffen, darf keine automatische Zusammenführung erfolgen. Der Datensatz wird einem Benutzer im Web-Portal zur Prüfung vorgelegt. Beispiel: Feld Unitrade Gevis Addison Vorschlag Firma Müller GmbH Mueller GmbH Müller GmbH Müller GmbH Straße Hauptstr. 5 Hauptstraße 5 Hauptstrasse 5 Hauptstraße 5 PLZ 49762 49762 49762 49762 Der Benutzer muss mindestens folgende Möglichkeiten besitzen: Datensatz A übernehmen Datensatz B übernehmen Datensätze zusammenführen beide Datensätze behalten einzelne Feldwerte auswählen Werte manuell korrigieren Entscheidung zurückstellen 4.4 Normalisierung Die Stammdaten werden nach zentral definierten Regeln normalisiert. Beispiele: Eingangswert Normalisierter Wert Hauptstr. Hauptstraße Hauptstrasse Hauptstraße 05933 / 1234 +49 5933 1234 0049 5933 1234 +49 5933 1234 Deutschland DE Germany DE Die Regeln müssen konfigurierbar sein. Eine wesentliche Anforderung ist die länderabhängige Normalisierung . Internationale Anschriften dürfen nicht nach deutschen Schreibregeln verändert werden. 4.5 Prüfung über externe Datenquellen Unternehmensdaten sollen soweit technisch und vertraglich möglich mit externen Datenquellen abgeglichen werden. Vorgesehen sind insbesondere: Handelsregister bzw. Registerdaten Creditreform Geprüft werden können abhängig von der verfügbaren Schnittstelle beispielsweise: Unternehmensname Rechtsform Sitz Geschäftsanschrift Handelsregisternummer Registergericht Unternehmensstatus weitere Identifikationsmerkmale Dabei muss zwischen verschiedenen Datenquellen unterschieden werden: amtliche bzw. verifizierte Daten Creditreform-Daten interne Unternehmensdaten Benutzereingaben normalisierte Daten KI-generierte Vorschläge Die Herkunft eines Wertes muss nachvollziehbar bleiben. 4.6 Nicht mehr aktive Geschäftspartner Kunden und Lieferanten, die nicht mehr existieren oder nicht mehr aktiv sind, dürfen nicht einfach aus dem Datenbestand gelöscht werden. Mögliche Status sind: aktiv inaktiv insolvent in Liquidation gelöscht verschmolzen übernommen verstorben Geschäftsbetrieb eingestellt unbekannter Status Bei Fusionen, Übernahmen oder Rechtsnachfolgen soll eine Beziehung zum Nachfolgeunternehmen hinterlegt werden können. 4.7 Zahlungs- und Mahnbedingungen Bestehende Zahlungs- und Mahnbedingungen müssen während der Migration vereinheitlicht werden. Hierzu existieren mindestens: bisherige Zahlungsbedingungen neue Zahlungsbedingungen bisherige Mahnbedingungen neue Mahnbedingungen Die Bedingungen werden anhand ihrer Texte und ihrer fachlichen Bedeutung miteinander verglichen. Beispiel: Alt: 14 Tage 2 %, 30 Tage netto Neu: Zahlbar innerhalb 14 Tagen mit 2 % Skonto, ansonsten 30 Tage netto Das System soll erkennen können, dass beide Bedingungen fachlich identisch sind. Für jede bisherige ID wird eine Zuordnung zur neuen ID erzeugt. Alte ID Neue ID Konfidenz 12 105 100 % 17 112 98 % 23 ? 64 % Unsichere Zuordnungen müssen manuell geprüft werden. Nach erfolgreicher Zuordnung werden im konsolidierten Stammdatenbestand die bisherigen IDs durch die neuen IDs ersetzt. Dasselbe Verfahren gilt für Mahnbedingungen. 4.8 Abschluss und Initialimport Nach Abschluss von Phase 1 muss ein: konsolidierter deduplizierter geprüfter normalisierter dokumentierter fachlich freigegebener Stammdatenbestand vorliegen. Dieser wird initial nach Gevis übertragen. Gevis übernimmt in dieser Phase die Weiterverteilung an die übrigen Systeme.