spinner

BigQuery Omni: llega el servicio de Google multi-cloud para sacar partido a los datos

En BBVA Next Technologies desarrollamos, desde hace más de 7 años, proyectos complejos basados en las principales plataformas de nube pública: Microsoft Azure, AWS, GCP. A lo largo de estos años, la aparición de nuevos servicios en estas plataformas ha sido exponencial y hace que vayamos actualizando nuestras best practices para aprovechar todo el potencial de la nube. Por eso siempre estamos pendientes de la aparición de cualquier nuevo servicio que nos ayude a eficientar plataformas y/o desarrollos. En este caso vamos a hablar de BigQuery Omni, el nuevo servicio de GCP.

Cuando se empieza un proyecto, siempre surgen preguntas esenciales que condicionan el resto del desarrollo. Una de las cuestiones más críticas es elegir la plataforma en la que se va a desarrollar. ¿Apostamos por un proveedor público? ¿Cuál se ajusta más a nuestras necesidades? No tomar la decisión adecuada en este punto puede ser fatídico.

Se deben tener en cuenta muchos factores para encontrar la respuesta adecuada. Como la compatibilidad con el resto de las actividades de la empresa, la experiencia del equipo que lo va a desarrollar, el coste que implica, etc. Y muchas veces no hay una elección que cubra al 100% todas nuestras necesidades, por lo que se suele apostar por una solución híbrida.

Adaptándose a esa situación, Google Cloud llega con el servicio BigQuery Omni. Una solución flexible, multi-cloud, que permite analizar de manera eficiente datos almacenados en Google Cloud, Amazon Web Services (AWS) (y próximamente Azure), sin salir de la interfaz de BigQuery, servicio abanderado de Google Cloud.

¿Cómo funciona?

Mover datos de un proveedor a otro es una tarea costosa, tanto en recursos como en riesgo, por lo que en la mayoría de los casos es inviable. BigQuery Omni presenta una nueva forma de analizar esos datos, que están almacenados en distintos proveedores, desde la misma herramienta. Esto es posible debido a que BigQuery separa desde la base el análisis del almacenamiento de datos. De esta manera, consigue tener una herramienta desde la que se pueden ejecutar sentencias SQL sin importar dónde estén los datos.

BigQuery Omni se basa en Anthos, una plataforma de Google con la que se puede trabajar con distintas nubes con una interfaz común, creando una experiencia única y consistente entre proveedores. Estos recursos están desplegados en la misma región en la que están los datos, de esta manera no solo aseguramos los datos sino que no se ve afectado el rendimiento.

GCP

¿Cómo empiezo?

Ya que el fin de este servicio es mostrar una interfaz común, el punto de partida es BigQuery, después, basta con elegir la región en la que residen los datos y ya se pueden empezar a ejecutar sentencias SQL sobre esos datos. Soporta distintos formatos, por lo que no hace falta traducirlos. Acepta Avro, CSV, JSON, ORC, y Parquet. Tampoco hace falta copiar los datos a BigQuery, estos nunca salen del proveedor en el que residen.

BigQuery consigue esto gracias a los cluster multi-tenancy de Anthos, que deben ser autorizados al otro proveedor para que pueda acceder a los datos. Selecciona los datos para hacer las operaciones pertinentes y puede mostrar los resultados directamente en la interfaz de BigQuery o exportarlos a CSV a la fuente de datos original. De esta manera ni los resultados de las sentencias de SQL son movidos.

BigQuery Omni es un servicio que nace respondiendo a las necesidades actuales y futuras, cada vez más se hace patente que la nube está para quedarse y que a veces la mejor opción es utilizar distintas herramientas, compatibles entre sí.

¿Quieres saber más?

BigQuery Omni fue lanzado oficialmente en el Google Cloud Next 2020 y está en fase alpha. Si quieres saber más, sobre cómo BBVA usa los servicios de GCP, escucha la charla de Santiago Alarcón, Global Head de Google Cloud en BBVA y Lander Alonso, Senior Enterprise Architect de BBVA Next Technologies, en el evento de Arquitectura y Gobierno Cloud de BBVA con GCP. ¡Vuelve a verlo aquí!

 

Fuente de la imagen principal: Freepik

Las opiniones vertidas por el autor son enteramente suyas y no siempre representan la opinión de BBVA Next Technologies.

¿Quieres saber que más cosas hacemos en BBVA Next Technologies?