¿Necesitas integración de datos en tiempo real?

July 17, 2020 · Henning Lund · Integración de datos

La mayoría de los responsables de TI que buscan un sistema de integración de datos quieren una integración en tiempo real. Aunque a menudo es lo que quieren, rara vez es lo que necesitan.

La integración de datos en tiempo real es, en cierto modo, el nirvana de la integración de datos. ¿Por qué no sincronizar al instante tus fuentes de datos si puedes hacerlo? ¿Por qué esperar a que la información se transfiera más tarde si puedes tenerla ahora mismo?

Es fácil entender su deseo de agilizar y optimizar al máximo los procesos de negocio de su empresa. Sin embargo, la pregunta sigue siendo si realmente necesitan una transferencia instantánea de la información. En muchos casos, un procesamiento periódico de los datos por lotes basta para cubrir sus necesidades.

Disponer de información actualizada es importante para cualquier empresa. Eso no significa que todas las empresas se beneficiarían de una integración de sus datos verdaderamente en tiempo real. A algunas les puede convenir más una solución de procesamiento por lotes. Otras empresas pueden optar por combinar ambos enfoques.

Soluciones como RapidiOnline ofrecen una variedad de paquetes para cubrir todas las necesidades de integración de datos, en tiempo real o no.
 

¿Qué es la integración de datos en tiempo real?

Empecemos por definir la integración de datos. Su definición es muy sencilla y directa: la integración de datos consiste en reunir y combinar información (o datos) de distintas fuentes. Las empresas utilizan la integración de datos para reunir datos de diversas fuentes en una vista consolidada y unificada.

La integración de datos se realiza con distintas tecnologías y métodos, y siguiendo distintas arquitecturas. Por ejemplo, unos servicios pueden acceder a una o varias fuentes y recopilar datos de ellas antes de cargarlos en un sistema de destino.

La definición de integración en tiempo real es algo relativa. La integración de datos en tiempo real es el procesamiento y la transferencia de datos de un sistema a otro en un margen de tiempo muy reducido. El verdadero tiempo real sería una transferencia instantánea de los datos. Y si no es instantánea, lo más cercana posible a lo instantáneo.

Como una integración realmente instantánea puede ser difícil de conseguir, se suele hablar de integración en tiempo real «casi» o «flexible» (frente a «estricta»). De hecho, existen varias técnicas de integración de datos en tiempo real que permiten una sincronización «casi» instantánea.

Las empresas que quieren hacer análisis en tiempo real necesitan almacenes de datos con información 100 % actualizada. Quieren tener un control total de sus procesos de cadena de suministro y una integración instantánea de sus fuentes de datos. En la mayoría de los casos, aunque estas organizaciones necesiten acceder a los datos en tiempo real, lo que necesitan no es una integración en tiempo real estricto.

Muchas empresas pueden llevar sus operaciones con una integración de sistemas basada en métodos de procesamiento por lotes. Cuando se usa el procesamiento por lotes para la integración de datos, la solución recopila los datos, los almacena y los procesa en grupos en lugar de uno a uno. El procesamiento por lotes es perfecto si tus procesos de trabajo no requieren transferencias de datos inmediatas.

Según la definición de integración en tiempo real, cada dato se procesa y se transfiere en cuanto se crea. Como este tipo de sistemas de integración pueden añadir una carga considerable a los sistemas de origen, conviene que lo valores con cuidado.

Quizá te interese aprender de las mejores prácticas en este ámbito. Elegir entre integración en tiempo real, integración casi en tiempo real, procesamiento por lotes u otras alternativas activadas por eventos basadas en servicios web puede ser complicado. La elección correcta depende en gran medida de tus procesos de negocio y requisitos.

¿Cuáles son las limitaciones de la integración de datos en tiempo real?

Aunque la integración en tiempo real parezca el santo grial de la integración de datos, no está del todo exenta de defectos. Incluso en 2020, implementar una integración de datos en tiempo real puede ser un reto porque:

• puede obligar a las empresas a actualizar su infraestructura de TI, lo que podría resultar muy costoso.
• la mala calidad de los datos y, en general, una integridad de datos deficiente dificultan la integración de datos en tiempo real.
• los volúmenes de datos recopilados pueden ser enormes, sobre todo en la era del big data. Esto exige una gestión de datos avanzada que, hoy por hoy, muy pocas empresas son capaces de asumir.

Aunque el valor de la integración de datos en tiempo real es fácil de reconocer, implementarla todavía no es tan sencillo. Hoy en día, los flujos de datos son tan importantes que se habla de datos en streaming.

Los datos en streaming son el flujo continuo de datos procedente de un número creciente de fuentes. Estos avances en la recopilación de datos no facilitan precisamente la recopilación, el procesamiento ni la integración de los datos.

Cada día aparecen nuevas aplicaciones que aportan a las empresas datos adicionales potencialmente valiosos. El reto no consiste solo en gestionar volúmenes de datos cada vez mayores. Es importante saber qué datos son relevantes y, por supuesto, cómo procesarlos para que aporten un valor real.

 

¿Por qué ha aumentado la necesidad de integración en tiempo real?

En las últimas décadas, el número de aplicaciones y sistemas externos que usan las empresas para recopilar datos ha crecido de forma exponencial. Hoy llamamos big data a estas enormes cantidades de datos, y la gestión de los almacenes de datos se ha convertido en un aspecto crítico para cualquier empresa.

Como hemos mencionado, las empresas recopilan datos de muchas soluciones y aplicaciones distintas. Por ello, puede ser difícil tener una vista unificada de los datos. Si estas fuentes de datos no se integran, las empresas acaban con silos de datos que aportan poco valor a sus procesos.

La gestión de datos se ha convertido, y seguirá siendo, una función vital en la empresa. En este contexto, muchas organizaciones recurren a un integrador de datos para que les ayude a conectar estos sistemas.

La información de clientes es una pieza central en esta recopilación de datos, y muchas empresas usan Salesforce como su solución preferida de gestión de relaciones con clientes (CRM). El CRM no es la única fuente de información de clientes. La mayoría de las empresas también utilizan un sistema de planificación de recursos empresariales (ERP) para recopilar y procesar la información de pedidos y facturación de sus clientes.

Algunas empresas utilizan sistemas de gestión de la cadena de suministro para gestionar sus operaciones. Del mismo modo, los sistemas de gestión de servicios también pueden recopilar información relevante de los clientes.

La información de clientes acaba almacenada en sistemas separados. Por eso, las empresas solo pueden obtener una verdadera visión de 360 grados de sus clientes integrando Salesforce con su ERP. Para resolver este reto existen varias plataformas de integración de datos.

Muchas plataformas de integración están basadas en la nube y utilizan servicios web. Algunas ofrecen procesamiento de datos por lotes, mientras que otras apuestan por el procesamiento en tiempo real. La pregunta sigue siendo si el tiempo real es realmente necesario.

La mayoría de las empresas que quieren integrar Salesforce con una solución ERP rara vez necesitan una integración en tiempo real. Esto se aplica a cualquier solución CRM. Y también a cualquier solución ERP de Microsoft Dynamics: AX, NAV, GP, 365 Business Central o 365 for Finance & Operations.

 

Escenarios de integración de Salesforce en tiempo real

Resulta interesante analizar las necesidades que hay detrás de los proyectos de integración de datos en tiempo real. Las empresas que ponen en marcha una integración de datos para conectar sus sistemas ERP y CRM suelen querer:

• Evitar la doble introducción de datos.
• Eliminar el riesgo de errores manuales.
• Optimizar y agilizar los procesos para que el personal no tenga que buscar información en varios sistemas.
• Aumentar la productividad, porque su personal tendrá datos en los que puede confiar.

La mayoría de estas ventajas se consiguen fácilmente sin integración de datos en tiempo real. A menos que tu empresa opere en un entorno donde los segundos cuentan, probablemente no necesitas una sincronización instantánea de tus datos.

Puede surgir la necesidad de transferencias realmente en tiempo real. Por ejemplo, la necesitarías si tus operaciones están estrechamente ligadas a transacciones bursátiles. En ese caso, sería necesaria una verdadera integración en tiempo real. Si tus transferencias de datos no son tan sensibles al tiempo, lo más probable es que puedas prescindir de la integración en tiempo real.

Por qué se cree necesitar una integración de Salesforce en tiempo real

La mayoría de las empresas que integran Salesforce CRM con una solución ERP como Microsoft Dynamics quieren integrar principalmente:

• información de clientes (cuentas y contactos)
• información de productos o artículos
• información de precios
• información de presupuestos y pedidos

A veces también quieren transferir el historial de ventas y la información de pagos desde su ERP a su CRM. Estas son las necesidades más habituales de la gran mayoría de las empresas. La necesidad de integración existe sin duda. Sin embargo, no es una necesidad de transferencias instantáneas.

Supongamos que creas un presupuesto en Salesforce, pero el cálculo del precio debe hacerse en la solución ERP. ¿Con qué frecuencia necesitarás que esto se haga al instante? La mayoría de las personas pueden esperar un par de minutos a que la información vuelva del ERP.

La generación de presupuestos, la creación de pedidos y la actualización de datos de clientes no son procesos críticos en cuanto a tiempo. Pueden esperar fácilmente un par de minutos hasta transferirse al otro sistema. Cuando actualizas la dirección de un cliente en Salesforce, ¿qué probabilidad hay de que alguien necesite esa información exactamente en ese mismo momento, sin poder esperar un par de segundos?

A menudo, la petición de transferencias instantáneas no tiene nada que ver con una necesidad real de procesos en tiempo real. Implementar la mayor frecuencia de transferencia posible siempre cubrirá todas las necesidades. Es el enfoque de «más vale prevenir que curar». Sin embargo, puede ser un enfoque caro.

Por lo general, este enfoque tiene limitaciones importantes, como un coste elevado y la carga sobre los sistemas de origen.

Herramientas de integración de datos de Salesforce en tiempo real

Es raro encontrar empresas que de verdad necesiten una integración de datos de Salesforce en tiempo real. Incluso en la era de la inteligencia de negocio, el big data y las múltiples fuentes de datos. Por eso, muchas soluciones de integración ofrecen distintos niveles de frecuencia de transferencia.

La mayoría de las principales herramientas de integración de Salesforce afirman que pueden ofrecer integración de Salesforce en tiempo real. Probablemente sea cierto. MuleSoft, Jitterbit, Boomi e incluso la propia Salesforce tienen una oferta de integración en tiempo real para Salesforce CRM.

Normalmente, el rendimiento temporal de la integración dependerá en gran medida del método de integración de datos que utilicen estos proveedores. Encontrar la herramienta de integración óptima también implica encontrar la solución diseñada para funcionar con un impacto mínimo en los sistemas integrados.

La integración de datos en tiempo real puede suponer una carga considerable para el sistema de origen y el de destino. Esto ocurre sobre todo si transfieres todos los datos de un sistema a otro cada vez. Es buena idea elegir una herramienta de integración de datos que solo transfiera los datos nuevos o actualizados.

RapidiOnline ofrece una solución inteligente a este reto. Es una plataforma de integración de datos basada en la nube que permite a las empresas decidir exactamente con qué frecuencia quieren que se ejecuten las transferencias.

Con RapidiOnline es posible realizar las transferencias en grupos, cada 5 o 10 minutos, según una programación definida. La integración incluso puede programarse para ejecutarse una vez por hora si es lo que necesitas. Esta solución de integración de datos en la nube también admite requisitos de integración de sistemas más frecuentes.

RapidiOnline te permite decidir que algunos procesos más sensibles al tiempo activen una transferencia inmediata. Podría ser el caso, por ejemplo, cada vez que creas un presupuesto. Cuando se produce un «evento» de este tipo, la información se envía de inmediato a la cola para su procesamiento. Así te aseguras de que esa información llegue directamente a la cola de transferencias.

¿Y si tu proceso de negocio es mucho más sensible al tiempo y no puede esperar a entrar en la cola de transferencias? ¿Y si quieres que se procese de inmediato? En ese caso, RapidiOnline ofrece la posibilidad de añadir un servicio web que colocará tu transferencia crítica al principio de la cola. Esta solución te ofrece una alternativa lo más cercana posible al tiempo real, pero sin añadir una carga innecesaria a tus sistemas. Es una solución muy flexible y no tan cara como otras integraciones de Salesforce verdaderamente en tiempo real.

¿Es la integración de datos en tiempo real lo que necesitas?

El tiempo real no siempre es el mejor enfoque de integración de datos para una empresa. Suele ser caro y, a veces, ni siquiera es más rápido que una integración «casi» en tiempo real como la descrita más arriba. El tiempo real nunca será más rápido que la velocidad a la que el sistema procesa los datos.

Si el tiempo es lo esencial en tu decisión, es importante que sepas que una integración de datos 100 % en tiempo real puede ser una ilusión. En cuanto hay que transferir los datos, también hay que procesarlos, y eso puede llevar tiempo. Aunque la transferencia sea inmediata, puede que no la percibas como instantánea.

La mayoría de las empresas pueden cubrir sus requisitos con una combinación de transferencias activadas por eventos y soluciones de integración casi en tiempo real. Este tipo de combinación satisface, con diferencia, la mayor parte de las optimizaciones de procesos de negocio de empresas de cualquier tamaño.