…
Intelek Data Pipes

Software de captura de datos

Todos tus datos en un único lugar

Intelek Collector soluciona el problema de la dispersión de datos, importando todos tus datos desde cualquier fuente e integrándolos en un único sistema informacional centralizado, fuente de todo el conocimiento de tu organización, para su posterior explotación y análisis.


¿Qué tipos de orígenes de datos existen?

Las empresas actuales acumulan herramientas y tecnologías muy diversas, estando así sus datos almacenados en sistemas muy diversos, basados en distintas tecnologías de almacenamiento . Todos estos orígenes de datos se pueden clasificar en principalmente cinco tipologías, para los que se usaran distintas técnicas de captura de datos.

1. Softwares de gestión de terceros

Las organizaciones actuales acostumbran a utilizar distintos programas de gestión que tienen contratados de terceros, para los que no es posible acceder a las bases de datos que soportan los softwares. Es muy habitual que estos softwares dispongan de una interfaz para acceder a los datos de forma programática, esto es una API. Cada software dispone de una API propia distinta, con reglas para acceder a los datos completamente distintas, lo cual hace muy costoso el desarrollo de programas de captura de datos para cada una de estas APIs

Intelek Collector te permite:

  • Importar los datos del programario en la nube que utilizas: ERP, CRM, eCommerce, y muchos más.

  • Escalabilidad automática para sincronizar datos con frecuencias y volúmenes de datos altos.

  • Flexibilidad para adaptarse a nuevas APIs de softwares específicos poco habituales.

2. Bases de datos propias

Es habitual que las organizaciones dispongan de programario desarrollado a medida, cada uno con su respectiva base de datos e independiente de las demás. Esto supone un problema para construir un almacén de datos centralizado, ya que es necesario conectarse a las fuentes de datos, de naturalezas muy distintas y en localizaciones separadas. Intelek Collector te permite:

  • Importar los datos que residen en una base de datos local, sea MySQL, Oracle, PostgreSQL, Microsoft SQL Server, u otros sistemas de base de datos.

  • Conectándose a bases de datos en una red local o en la nube.

3. Conectores de documentos, PDF o imágenes

Algunas veces se tiene información de mucho valor contenido en documentos PDF, a menudo resultado de escanear documentos físicos. O también se tienen imágenes con contenido de valor en su texto o incluso en los elementos u objetos gráficos contenidos en la imagen. Intelek Collector te permite:

  • Extraer información de valor de archivos PDF o documentos escaneados.

  • Extraer tablas de archivos PDF, como podría ser una factura, un albarán, entre otros.

  • Extraer texto de imágenes (.png, .jpg).

  • Extraer información de los objetos que aparecen en las imágenes.

4. Obtener datos de una página web (scraping)

Los datos que se encuentran en las páginas web de tus competidores y otros sitios online pueden ser muy valiosos para la toma de decisiones. Estos datos se pueden capturar de forma recurrente o puntual, y así alimentar tu almacén de datos para:

  • Realizar análisis cruzándolos con otros datos.

  • Monitorizar los cambios en los datos de los competidores.

  • Comparar los datos de tus competidores con de tu compañía.

5. Proveedores de datos

A veces no se dispone de los datos más útiles para la toma de decisiones, y tampoco es posible extraerlos de la web. En estas situaciones puede ser interesante adquirir esta información de proveedores de datos privados por un coste que se ajuste a las necesidades de cada proyecto para ayudarnos a:

  • Conocer como afectan ciertos comportamientos de los ciudadanos a tu negocio. Por ejemplo, los cambios de consumo alimentario de la población en verano o en Navidad.

  • Identificar los eventos o sucesos externos que afectan más a la operativa de tu negocio. Por ejemplo, la meteorología en la logística de distribución de productos.

  • Automatizar estudios del mercado que contextualiza tu negocio.

Gestión de procesos periódicos de captura de datos

Crea múltiples procesos periódicos de descarga de datos de las fuentes que hayas habilitado.

  • Tantos procesos para una misma fuente de datos como quieras.

  • Selecciona las entidades que te interesa descargar en el proceso.

  • Escoge la base de datos o disco donde almacenar los datos de cada proceso.

  • Define el intervalo de ejecución mediante crontabs.

Detalle de ejecución de los procesos de captura de datos

Con el módulo de monitorización del Data Collector podrás consultar en todo momento el estado de los procesos de captura o importación de datos.

  • Volumen de datos adquiridos.

  • Fecha y hora de la última adquisición de datos.

  • Fecha y hora prevista para la próxima captura de datos.

  • Tareas de preparación y limpieza de datos programadas para procesar los datos (y hora prevista de finalización).

Estadísticas

Estadísticas del consumo de CPU de cada conector de datos.

Errores

Monitorización de errores en la ejecución de los procesos.

Volumen de datos

Información del volumen de datos descargados a lo largo del tiempo.

Páginas relacionadas

¿Hablamos?

Estamos encantados de convertir tus necesidades en oportunidades de crecimiento basadas en datos para tu empresa.

Contacta con nosotros