1. INTRODUCCION AL BIG DATA

El objetivo principal de toda empresa es crecer año tras año, multiplicando sus beneficios. Antiguamente se hacían encuestas orales para detectar los gustos de los clientes y poder de esa forma ofrecer los productos que más se iban a vender.

Esta método requería mucho tiempo, ya que después de realizar todas las encuestas "a mano ", había que recopilar todos los datos, digitalizarlos y analizarlos.

A las empresas les conviene recopilar y analizar esos datos lo antes posibles, para poder adelantarse  a las empresas de la competencia.

Con la aparición de los dispositivos electrónicos se vio que a través de los mismos podrían obtenerse más cantidad de datos en menos tiempo, por lo que las empresas empezaron a cambiar su método.

Cada día utilizamos muchos dispositivos mediante los cuales se emite una cantidad ingente de información: cada vez que hacemos clic en una página web, pagamos con tarjeta de crédito, publicamos imágenes en las redes sociales, encendemos el GPS, etc. Todas estas (y muchas más) acciones producen una gran cantidad de datos que deben ser tratados.

Para resolver este problema, se utilizan varios ordenadores ubicados por todo el mundo que se reparten los datos en paquetes y los procesan; luego se ponen en común esos datos para obtener los resultados casi en tiempo real.

El procesamiento de datos se realiza mediante algoritmos informáticos que revisan rápidamente los datos y los clasifican o computan.

Si una empresa logra conseguir la suficiente cantidad de datos, puede lograr cosas tan asombrosas como la publicidad en las redes sociales, tanto así que incluso muchas personas creen que los espían por sus micrófonos por lo acertados que son los anuncios que les llegan; pero todo esto es posible gracias a Big Data. 

En la actualidad existen varias empresas que se dedican a ofrecer servicios de Big Data a otras empresas, por lo que se han creado nuevos oficios como Analista de datos.

Las universidades ya están ofertando grados relacionados con el Big Data; si todavía no tienes claro tu futuro, puedes plantearte trabajar en este campo que está en auge.

1.1. ¿Para qué sirve Big Data?

Big Data es extremadamente útil, tanto para las empresas como para mejorar la calidad de vida de las personas. De hecho puede dar respuestas a preguntas que ni siquiera se sabía que se tenían. Ayuda a comprender los problemas, darles solución e incluso predecir qué es lo que podría pasar a futuro en varios escenarios alternativos.

La importancia no está en la cantidad de datos, sino en lo que se puede hacer con ellos. Al fusionar Big Data con el análisis de datos, se puede llegar a hacer análisis predictivos (de esta forma se puede predecir el futuro, o al menos su probabilidad), gracias a los patrones de los datos.

Todo esto se resume en una serie de beneficios como reducir costos de manera considerable, tomar mejores decisiones basados en datos en tiempo real, aumentar las ganancias, reducir tiempos, dar servicios personalizados, encontrar áreas de oportunidad (por ejemplo nuevos productos o servicios) y un largo etcétera.

1.2. Ejemplos de uso de Big Data

Existe una infinidad de campos de aplicación de Big Data, no solo para aumentar los beneficios de una empresa, también tiene varias aplicaciones en el mundo real con cosas asombrosas como bajar la criminalidad de una ciudad, como veremos a continuación:

• En el mundo digital se puede registrar y procesar toda la información en tiempo real. Así que a partir de la información de los usuarios, se puede mostrar ofertas personalizadas para grupos de usuarios con comportamientos comunes.

• Analíticas de comportamiento de usuarios para crear/mejorar/modificar las funcionalidades de una plataforma acorde a lo que haga el usuario. Una aplicación muy interesante es para evitar el fraude en cosas como suplantación de identidad o la clonación de tarjetas, al detectarse un cambio de comportamiento.

• Un campo bastante estudiado es la minería de texto para el procesamiento de lenguaje natural (NLP). Y a partir de ahí hay una infinidad de aplicaciones como por ejemplo el análisis de sentimientos en marketing o la clasificación automática de problemas en el departamento de soporte al cliente, y que cada queja llegue al sub-equipo correspondiente.

• Calcular el potencial comercial de distintas zonas geográficas para abrir nuevas tiendas sucursales sin afectar las ventas de las otras. También funciona para lo contrario y saber cuándo se debe cerrar una tienda. La mayoría de cadenas multinacionales escogen su ubicación de esta manera.

• En la banca se hace muchos análisis de riesgo para saber qué clientes se puede admitir o rechazar, qué créditos se puede aprobar o no, e incluso el análisis de la cartera de los clientes para constantemente estar analizando lo mencionado en caso de que algo cambie en su historial crediticio.

• En un centro de llamadas podría ayudar a saber a qué clientes llamar, en qué horarios y qué tipo de promociones hacerles.

• Con Big Data se puede fácilmente hacer una segmentación de cliente muy precisa para luego enviarle campañas personalizadas, fidelizarlo y evitar que abandone la empresa.

• También es posible identificar problemas antes de que sucedan y tomar acciones para que tengan una solución antes de que siquiera existan.

1.3. Casos de aplicación de Big Data en mundo real

Eventualmente tendremos ciudades inteligentes, podremos predecir muchos desastres naturales y estar preparados antes de que ocurran, tendremos una mejor optimización del tráfico e incluso será posible prevenir enfermedades ligadas a nuestros genes en específico. Estos son algunos ejemplos de los casos de uso actuales de Big Data para mejorar la calidad de vida de las personas:

• La empresa IBM tomó toda la información de los crímenes en Chicago y la procesó para hacer análisis predictivos. Con ello se consiguió detectar dónde iban a ocurrir los crímenes antes de que sucedan de una manera muy detallada. Así que es muy posible disminuir la criminalidad de una ciudad en un 30% gracias al uso de Big Data. Esta es una dramatización que presentó IBM:

• En el campo de la salud hay múltiples usos que ayudarán a toda la humanidad. Por poner algunos ejemplos, es posible codificar el material genético para conocer los alimentos más adecuados para un individuo y cómo prevenir enfermedades crónicas. Se puede monitorear a bebés prematuros para predecir sus enfermedades antes de que aparezcan los primeros síntomas. Incluso se puede predecir y controlar la evolución de las epidemias.

• Big Data está muy presente en el desarrollo científico, por ejemplo, en el Colisionador de Hadrones (LHC) del CERN se pueden llegar a producir 600 millones de colisiones por segundo, a punto de que sus 65.000 procesadores para analizar 30 Petabytes de datos, no son suficientes.

• Varias empresas de logística han empezado a usar Big Data para optimizar sus rutas de entrega, de tal modo que los tiempos de entrega son muchos menores al igual que el combustible necesario.

1.4. Almacenaje de datos

Como hemos visto antes, la explosión de dispositivos conectados a Internet supone la generación constante y en tiempo real de increíbles cantidades de datos. Pero ¿dónde se almacena tanta información?

Hoy día, casi toda la información que circula por Internet está almacenada en centros de datos que contienen muchos servidores con discos duros de gran capacidad. Los datos almacenados se mueven continuamente de un centro de datos a otro y se llevan a cabo copias de seguridad para que la información no desaparezca a causa de factores externos.

Los data center son servicios muy importantes. Las grandes multinacionales necesitan estos dispositivos para poder gestionar de manera óptima y eficiente toda la información que tienen. Facebook, por ejemplo, mueve 2.500.000 millones de contenidos nuevos cada minuto. Por esta razón, esta red social cuenta con varios CPD (Centro de Procesamiento de Datos) en todo el mundo.

Google, es de las primeras compañías de servicios online que no solo construyó sus propios CPD en diferentes continentes, sino que se encargó de diseñarlos, planificarlos y crearlos. 

Digital Realty, compañía que se dedica a la adquisición, venta y alquiler de data centers es la empresa que dispone del centro de datos más grande del mundo. Está situado en la localidad norteamericana de Chicago y dispone de más de 100.000 metros cuadrados y más de 50 generadores eléctricos distintos.

Actualmente existen más de 2.200 centros de recogida de información en todo el planeta de los cuales más de 1.000 se encuentran en los Estados Unidos. En España hay 36 centros, 22 de los cuales están geolocalizados en Madrid o Barcelona.

En el siguiente video podemos ver algunas de las instalaciones del Data Center de acens en Madrid

1.5. Visualización de datos

El Big Data es una ingente cantidad de tablas de datos que no tienen sentido para las personas. Para hacer los datos más visibles y poder interpretarlos fácilmente, en principio han de ser clasificados y ordenador y después se recurre a representarlos mediante gráficos, diagramas, mapas, etc.

Este trabajo lo realizan los Analistas de datos mediante algoritmos informáticos, programas específicos y últimamente, el uso de la Inteligencia Artificial.

2. METADATOS

Los metadatos son datos sobre datos, en otras palabras, es información que se usa para describir los datos contenidos en algo como una página web, documento, foto o archivo. Otra forma de pensar en los metadatos es como una breve explicación o resumen de lo que son los datos.

Los metadatos representan información detrás de escena que se utiliza en todas partes, por todas las industrias, de múltiples maneras. Es omnipresente en los sistemas de información, las redes sociales, los sitios web, el software, los servicios de música y la venta minorista en línea. Los metadatos se pueden crear manualmente para seleccionar y elegir lo que se incluye, pero también se pueden generar automáticamente en función de los datos.

Un ejemplo del uso de los metadatos son las canciones MP3, que incluyen información sobre el título de la canción, el autor, el álbum, el año de publicación, etc. También se usan en libros electrónicos en formato EPUB y en general en todas las páginas web.

El objetivo de los metadatos es el de localizar determinado tipo de archivos por medio de unas palabras clave, por ejemplo, localizar una canción por el autor, localizar en Internet una empresa de electricidad, la foto de un perro, etc.

Los metadatos tienen mucho que ver con el Big Data, cada vez que das un "like" a una canción en una red social, no solo se te asocia esa canción, sino ese estilo de música, ese autor, etc. Incluso se pueden desprender tu estado de ánimo según las canciones que escuchas.

Los metadatos de una foto de Whatsapp, como la anterior, nos dice la fecha y hora en la que fue tomada la foto, la localización donde fue tomada (Si teníamos activado la localización  en el móvil), la orientación del móvil, su configuración , etc.

2.1. Permisos de las aplicaciones

Cuando instalamos una aplicación en nuestro dispositivo, nos pide una serie de permisos para utilizar los sensores y funcionalidades del mismo. Algunos de esos permisos solo se piden para poder recopilar datos y metadatos de nuestros dispositivos, por lo que hay que tener cuidado con las aplicaciones que instalamos y los permisos que les concedemos.

Los permisos de las aplicaciones son uno de los sistemas de seguridad. Al instalar una aplicación o juego, nos pide tener acceso a ciertos recursos en el teléfono (a los archivos, al registro de llamadas o a la cámara, entre otros). En función del tipo de aplicación, es lógico que tenga acceso a determinados recursos, una aplicación de cámara necesitará tener acceso a la cámara del teléfono, por ejemplo. 

Así que al instalar una aplicación, es recomendable repasar los permisos que nos pide y desconfiar de aquellas que nos piden permisos "raros".

También podemos ver los permisos que tienen las aplicaciones ya instaladas y modificarlos:

3. EL INTERNET DE LAS COSAS (IoT)

El término IoT, o Internet de las cosas (Internet of Things), se refiere a la red colectiva de dispositivos conectados y a la tecnología que facilita la comunicación entre los dispositivos y la nube, así como entre los propios dispositivos. Gracias a la llegada de los chips de ordenador de bajo coste y a las telecomunicaciones de gran ancho de banda, ahora tenemos miles de millones de dispositivos conectados a Internet. Esto significa que los dispositivos de uso diario, como los cepillos de dientes, las aspiradoras, los coches y las máquinas, pueden utilizar sensores para recopilar datos y responder de forma inteligente a los usuarios.

Todos estos dispositivos también envían datos al Big Data.

3.1. Componentes de IoT

Un sistema del IoT tiene tres componentes:

• Dispositivos inteligentes: Se trata de dispositivos, como un televisor, una cámara de seguridad o un equipo de ejercicio, a los que se les dotó de capacidades de computación. Recopila datos de su entorno, de las entradas de los usuarios o de los patrones de uso y comunica los datos a través de Internet hacia y desde su aplicación de IoT.

• Aplicación de IoT: Una aplicación de IoT es un conjunto de servicios y software que integra los datos recibidos de varios dispositivos de IoT. Utiliza tecnología de machine learning o inteligencia artificial (IA) para analizar estos datos y tomar decisiones. Estas decisiones se comunican al dispositivo de IoT y este responde de forma inteligente a las entradas. 

• Una interfaz de usuario gráfica: El dispositivo de IoT o la flota de dispositivos pueden administrarse a través de una interfaz de usuario gráfica. Algunos ejemplos comunes son una aplicación móvil o un sitio web que pueden utilizarse para registrar y controlar dispositivos inteligentes. 

3.2. Comunicación de dispositivos IoT

Como hemos visto anteriormente, los dispositivos IoT están conectados a Internet, lo cual puede conseguirse mediante Wifi o mediante Cable de red. La conexión Wifi tiene la ventaja de poder usarse en dispositivos portátiles o en pequeños dispositivos como bombillas inteligentes, por lo que se ha convertido en el principal método de conexión de dispositivos IoT a Internet.

Algunos dispositivos IoT se conectan a un teléfono móvil, tablet u ordenador mediante Bluetooth, que conecta dicho dispositivo a Internet a través de una App de control del dispositivo.

Existen muchos tipos dispositivos IoT de distintos fabricantes, algunos de ellos tienen que trabajar conjuntamente, por lo que dichos dispositivos tienen que «entenderse». Para este fin se han creado distintos protocolos internacionales que han de cumplir los fabricantes para que sus dispositivos sean compatibles con el del resto de fabricantes.