Brauchen Sie eine Echtzeit-Datenintegration?

July 17, 2020 · Henning Lund · Datenintegration

Die meisten IT-Verantwortlichen, die ein Datenintegrationssystem suchen, möchten eine Echtzeit-Integration. Das ist zwar oft das, was sie wollen, aber selten das, was sie brauchen.

Die Echtzeit-Datenintegration gilt gewissermaßen als das Nirwana der Datenintegration. Warum sollten Sie Ihre Datenquellen nicht sofort synchronisieren, wenn es möglich ist? Warum sollten Sie darauf warten, dass Informationen später übertragen werden, wenn Sie sie sofort haben können?

Der Wunsch, die Geschäftsprozesse im eigenen Unternehmen zu verschlanken und bis ins Letzte zu optimieren, ist leicht nachvollziehbar. Die Frage bleibt jedoch, ob tatsächlich eine sofortige Übertragung der Informationen nötig ist. In vielen Fällen reicht eine periodische Batch-Verarbeitung der Daten völlig aus.

Aktuelle Informationen sind für jedes Unternehmen wichtig. Das heißt aber nicht, dass jedes Unternehmen von einer echten Echtzeit-Integration seiner Daten profitieren würde. Für manche ist eine Lösung mit Batch-Verarbeitung besser geeignet. Andere Unternehmen entscheiden sich vielleicht für eine Kombination beider Ansätze.

Lösungen wie RapidiOnline bieten eine Auswahl an Paketen für alle Anforderungen an die Datenintegration, ob in Echtzeit oder nicht.
 

Was ist Echtzeit-Datenintegration?

Beginnen wir mit der Definition der Datenintegration. Sie ist sehr einfach und unkompliziert: Datenintegration bedeutet, Informationen (oder Daten) aus verschiedenen Quellen zu sammeln und zusammenzuführen. Unternehmen nutzen die Datenintegration, um Daten aus unterschiedlichen Datenquellen in einer konsolidierten, einheitlichen Sicht zusammenzubringen.

Die Datenintegration erfolgt mit unterschiedlichen Technologien und Methoden und nach unterschiedlichen Architekturen. So können beispielsweise Dienste auf eine oder mehrere Quellen zugreifen und dort Daten sammeln, bevor sie diese in ein Zielsystem laden.

Die Definition der Echtzeit-Integration ist relativ. Echtzeit-Datenintegration ist die Verarbeitung und Übertragung von Daten von einem System in ein anderes innerhalb eines sehr engen Zeitrahmens. Echte Echtzeit wäre eine sofortige Übertragung der Daten. Wenn nicht sofort, dann so nah an „sofort“ wie möglich.

Weil eine wirklich sofortige Integration schwer zu erreichen ist, spricht man oft von „Near“- oder „weicher“ (im Gegensatz zu „harter“) Echtzeit-Integration. Tatsächlich gibt es verschiedene Techniken der Echtzeit-Datenintegration, die eine „nahezu“ sofortige Synchronisierung ermöglichen.

Unternehmen, die Echtzeit-Analysen durchführen möchten, benötigen Data Warehouses mit hundertprozentig aktuellen Informationen. Sie wollen die volle Kontrolle über ihre Supply-Chain-Prozesse und eine sofortige Integration ihrer Datenquellen. Doch selbst wenn solche Organisationen in Echtzeit auf Daten zugreifen müssen, brauchen sie meistens keine harte Echtzeit-Integration.

Viele Unternehmen können ihren Betrieb mit einer Systemintegration auf Basis von Batch-Verarbeitungsmethoden führen. Wird die Batch-Verarbeitung für die Datenintegration genutzt, sammelt die Lösung Daten, speichert sie und verarbeitet sie in Gruppen statt einzeln. Die Batch-Verarbeitung ist ideal, wenn Ihre Arbeitsprozesse keine sofortige Datenübertragung erfordern.

Nach der Definition der Echtzeit-Integration wird jedes Datenelement verarbeitet und übertragen, sobald es entsteht. Da solche Integrationssysteme die Quellsysteme erheblich belasten können, sollten Sie diesen Schritt sorgfältig abwägen.

Es lohnt sich, von den Best Practices in diesem Bereich zu lernen. Die Wahl zwischen Echtzeit-Integration, Near-Real-Time-Integration, Batch-Verarbeitung oder anderen ausgelösten Alternativen auf Basis von Webservices kann knifflig sein. Die richtige Wahl hängt stark von Ihren Geschäftsprozessen und Anforderungen ab.

Wo liegen die Grenzen der Echtzeit-Datenintegration?

Auch wenn die Echtzeit-Integration wie der Heilige Gral der Datenintegration wirkt, ist sie nicht ganz ohne Schwächen. Selbst im Jahr 2020 kann die Umsetzung einer Echtzeit-Datenintegration eine Herausforderung sein, denn:

• Unternehmen müssen unter Umständen ihre IT-Infrastruktur modernisieren, was sehr kostspielig sein kann.
• schlechte Datenqualität und eine allgemein mangelhafte Datenintegrität erschweren die Echtzeit-Datenintegration.
• die gesammelten Datenmengen können gerade im Zeitalter von Big Data enorm sein. Das erfordert ein fortschrittliches Datenmanagement, das derzeit nur sehr wenige Unternehmen beherrschen.

Der Wert der Echtzeit-Datenintegration ist leicht zu erkennen, ihre Umsetzung ist aber noch nicht so einfach. Datenströme sind heute so wichtig, dass man von Streaming-Daten spricht.

Streaming-Daten bezeichnen den kontinuierlichen Datenfluss aus einer wachsenden Zahl von Datenquellen. Solche Entwicklungen bei der Datenerfassung machen die Erfassung, Verarbeitung oder Integration von Daten nicht gerade einfacher.

Jeden Tag kommen neue Anwendungen hinzu, die zusätzliche, potenziell wertvolle Daten für Unternehmen liefern. Die Herausforderung besteht nicht nur darin, mit den wachsenden Datenmengen umzugehen. Wichtig ist auch zu wissen, welche Daten relevant sind, und natürlich, wie man sie so verarbeitet, dass sie wirklich einen Wert schaffen.

 

Warum ist der Bedarf an Echtzeit-Integration gestiegen?

In den vergangenen Jahrzehnten ist die Zahl der Anwendungen und externen Systeme, mit denen Unternehmen Daten erfassen, exponentiell gestiegen. Heute bezeichnen wir diese riesigen Datenmengen als Big Data, und das Management von Data Warehouses ist für jedes Unternehmen zu einem entscheidenden Faktor geworden.

Wie bereits erwähnt, sammeln Unternehmen Daten aus vielen verschiedenen Lösungen und Anwendungen. Dadurch kann es schwierig sein, eine einheitliche Sicht auf die Daten zu erhalten. Werden diese Datenquellen nicht integriert, entstehen Datensilos, die den Prozessen kaum einen Nutzen bringen.

Datenmanagement ist zu einer zentralen Funktion im Unternehmen geworden und wird es auch bleiben. Vor diesem Hintergrund wenden sich viele Organisationen an einen Datenintegrator, der sie beim Verbinden dieser Systeme unterstützt.

Kundeninformationen spielen bei dieser Datenerfassung eine zentrale Rolle, und viele Unternehmen setzen Salesforce als bevorzugte Lösung für das Customer Relationship Management (CRM) ein. Das CRM ist jedoch nicht die einzige Quelle für Kundeninformationen. Die meisten Unternehmen nutzen außerdem ein Enterprise-Resource-Planning-System (ERP), um Auftrags- und Rechnungsinformationen zu ihren Kunden zu erfassen und zu verarbeiten.

Manche Unternehmen steuern ihre Abläufe mit Supply-Chain-Management-Systemen. Ebenso können Service-Management-Systeme relevante Kundeninformationen erfassen.

Die Kundeninformationen landen so in getrennten Systemen. Einen echten 360-Grad-Blick auf ihre Kunden erhalten Unternehmen daher nur, wenn sie Salesforce mit ihrem ERP integrieren. Für diese Herausforderung gibt es verschiedene Datenintegrationsplattformen.

Viele Integrationsplattformen sind cloudbasiert und nutzen Webservices. Einige bieten eine Batch-Verarbeitung der Daten, andere setzen auf Echtzeit-Verarbeitung. Offen bleibt die Frage, ob Echtzeit wirklich notwendig ist.

Die meisten Unternehmen, die Salesforce mit einer ERP-Lösung integrieren möchten, benötigen nur selten eine Echtzeit-Integration. Das gilt für jede CRM-Lösung. Und es gilt ebenso für jede ERP-Lösung von Microsoft Dynamics: AX, NAV, GP, 365 Business Central oder 365 for Finance & Operations.

 

Szenarien für die Echtzeit-Integration mit Salesforce

Es ist aufschlussreich, sich die Anforderungen hinter Projekten zur Echtzeit-Datenintegration anzusehen. Unternehmen, die eine Datenintegration zur Verbindung ihrer ERP- und CRM-Systeme einführen, wollen typischerweise:

• doppelte Dateneingaben überflüssig machen.
• das Risiko manueller Fehler beseitigen.
• Prozesse optimieren und verschlanken, damit die Mitarbeitenden nicht in mehreren Systemen nach Informationen suchen müssen.
• die Produktivität steigern, weil die Mitarbeitenden über Daten verfügen, denen sie vertrauen können.

Die meisten dieser Vorteile lassen sich problemlos ohne Echtzeit-Datenintegration erreichen. Sofern Ihr Unternehmen nicht in einem Umfeld arbeitet, in dem Sekunden zählen, brauchen Sie wahrscheinlich keine sofortige Synchronisierung Ihrer Daten.

Ein Bedarf an echten Echtzeit-Übertragungen kann durchaus entstehen, etwa wenn Ihr Geschäft eng mit Börsentransaktionen verknüpft ist. In diesem Fall wäre eine echte Echtzeit-Integration notwendig. Sind Ihre Datenübertragungen nicht so zeitkritisch, kommen Sie aller Voraussicht nach auch ohne Echtzeit-Integration aus.

Warum Unternehmen glauben, eine Echtzeit-Integration mit Salesforce zu brauchen

Die meisten Unternehmen, die Salesforce CRM mit einer ERP-Lösung wie Microsoft Dynamics integrieren, möchten in erster Linie Folgendes integrieren:

• Kundeninformationen (Accounts und Kontakte)
• Produkt- oder Artikelinformationen
• Preisinformationen
• Angebots- und Auftragsinformationen

Manchmal sollen zusätzlich Verkaufshistorie und Zahlungsinformationen aus dem ERP in das CRM übertragen werden. Das sind die häufigsten Anforderungen der überwiegenden Mehrheit der Unternehmen. Der Integrationsbedarf besteht ohne Zweifel. Ein Bedarf an sofortigen Übertragungen ist es jedoch nicht.

Angenommen, Sie erstellen ein Angebot in Salesforce, die Preiskalkulation muss aber in der ERP-Lösung erfolgen. Wie oft brauchen Sie dieses Ergebnis wirklich sofort? Die meisten können ein paar Minuten warten, bis die Information aus dem ERP zurückkommt.

Angebotserstellung, Auftragsanlage und die Aktualisierung von Kundendaten sind keine zeitkritischen Prozesse. Sie können problemlos ein paar Minuten warten, bis sie in das andere System übertragen werden. Wenn Sie die Adresse eines Kunden in Salesforce ändern: Wie wahrscheinlich ist es, dass jemand genau im selben Moment diese Information braucht und nicht ein paar Sekunden warten kann?

Oft hat der Wunsch nach sofortigen Übertragungen nichts mit einem tatsächlichen Bedarf an Echtzeit-Prozessen zu tun. Die höchstmögliche Übertragungsfrequenz deckt eben immer alle Anforderungen ab. Es ist ein Ansatz nach dem Motto „Vorsicht ist besser als Nachsicht“. Allerdings kann dieser Ansatz teuer werden.

In der Regel hat dieser Ansatz erhebliche Nachteile, darunter hohe Kosten und eine starke Belastung der Quellsysteme.

Tools für die Echtzeit-Datenintegration mit Salesforce

Unternehmen, die wirklich eine Echtzeit-Datenintegration mit Salesforce benötigen, sind selten. Das gilt selbst im Zeitalter von Business Intelligence, Big Data und zahlreichen Datenquellen. Deshalb bieten viele Integrationslösungen unterschiedliche Stufen der Übertragungsfrequenz an.

Die meisten führenden Salesforce-Integrationstools geben an, eine Echtzeit-Integration mit Salesforce bieten zu können. Diese Angaben dürften zutreffen. MuleSoft, Jitterbit, Boomi und sogar Salesforce selbst haben ein Angebot für die Echtzeit-Integration von Salesforce CRM.

Wie schnell die Integration tatsächlich ist, hängt in der Regel stark von der Datenintegrationsmethode ab, die diese Anbieter verwenden. Das optimale Integrationstool zu finden heißt auch, eine Lösung zu finden, die so ausgelegt ist, dass sie die integrierten Systeme möglichst wenig belastet.

Eine Echtzeit-Datenintegration kann das Quell- und das Zielsystem erheblich belasten. Das gilt besonders dann, wenn jedes Mal alle Daten von einem System in das andere übertragen werden. Es empfiehlt sich daher, ein Datenintegrationstool zu wählen, das nur neue oder geänderte Daten überträgt.

RapidiOnline bietet für diese Herausforderung eine clevere Lösung. Die cloudbasierte Datenintegrationsplattform ermöglicht es Unternehmen, genau festzulegen, wie oft Übertragungen laufen sollen.

Mit RapidiOnline lassen sich Übertragungen gebündelt nach einem festgelegten Zeitplan ausführen, etwa alle 5 oder 10 Minuten. Die Integration kann sogar einmal pro Stunde geplant werden, wenn Sie genau das brauchen. Die Cloud-Datenintegrationslösung unterstützt aber auch Anforderungen an eine häufigere Systemintegration.

Mit RapidiOnline können Sie festlegen, dass bestimmte zeitkritischere Prozesse eine sofortige Übertragung auslösen, zum Beispiel jedes Mal, wenn Sie ein Angebot erstellen. Tritt ein solches „Ereignis“ ein, wird die Information sofort zur Verarbeitung in die Warteschlange gestellt. So ist sichergestellt, dass diese Information direkt in die Warteschlange der Übertragungen gelangt.

Was aber, wenn Ihr Geschäftsprozess noch deutlich zeitkritischer ist und nicht warten kann, bis er in die Warteschlange der Übertragungen gestellt wird? Was, wenn er sofort verarbeitet werden soll? Für diesen Fall bietet RapidiOnline die Möglichkeit, einen Webservice hinzuzufügen, der Ihre kritische Übertragung an den Anfang der Warteschlange stellt. Diese Lösung bietet Ihnen eine Alternative, die so nah wie möglich an Echtzeit herankommt, ohne Ihre Systeme unnötig zu belasten. Sie ist äußerst flexibel und nicht so teuer wie andere echte Echtzeit-Integrationen mit Salesforce.

Ist Echtzeit-Datenintegration das, was Sie brauchen?

Echtzeit ist nicht immer der beste Ansatz für die Datenintegration eines Unternehmens. Sie ist meist teuer und manchmal nicht einmal schneller als eine „Near“-Real-Time-Integration, wie sie oben beschrieben wurde. Echtzeit kann nie schneller sein, als das System die Daten verarbeitet.

Wenn Zeit für Ihre Entscheidung das Wichtigste ist, sollten Sie wissen, dass eine hundertprozentige Echtzeit-Datenintegration eine Illusion sein kann. Sobald Daten übertragen werden müssen, müssen sie auch verarbeitet werden, und das kann dauern. Selbst wenn die Übertragung unmittelbar erfolgt, nehmen Sie sie womöglich nicht als sofort wahr.

Die meisten Unternehmen können ihre Anforderungen mit einer Kombination aus ereignisgesteuerten Übertragungen und Near-Real-Time-Integrationslösungen erfüllen. Eine solche Kombination deckt die weitaus meisten Prozessoptimierungen von Unternehmen jeder Größe ab.