big data

El Siglo XX

El primer gran proyecto de datos se creó en 1937 y fue encargado por la administración de Franklin D. Roosevelt en los Estados Unidos. Después de que la Ley del Seguro Social se hizo oficial, el gobierno tuvo que realizar un seguimiento de las contribuciones de 26 millones de estadounidenses y más de 3 millones de empleadores. IBM obtuvo el contrato para desarrollar una máquina de lectura de tarjetas perforadas para este enorme proyecto de contabilidad.

La primera máquina de procesamiento de datos apareció en 1943. Fue desarrollada por los británicos para descifrar los códigos nazis durante la Segunda Guerra Mundial. Este dispositivo, llamado Colossus, buscaba patrones en los mensajes interceptados a una velocidad de 5.000 caracteres por segundo. De este modo, la tarea se reduce de semanas a horas.

En 1952 se creó la Agencia de Seguridad Nacional (NSA) y en 10 años se contrató a más de 12.000 criptólogos. Esto porque se enfrentaron a una sobrecarga de información durante la Guerra Fría cuando comienzan a recopilar y procesar señales de inteligencia automáticamente.

En 1965, el gobierno de los Estados Unidos decidió construir el primer centro de datos para almacenar más de 742 millones de declaraciones de impuestos. Así como 175 millones de conjuntos de huellas dactilares transfiriendo todos esos registros a cintas magnéticas de computadora que debían almacenarse en un solo lugar. El proyecto se abandonó más tarde por temor al «Big Brother». Pero en general se acepta que fue el comienzo de la era del almacenamiento de datos electrónicos en la hist En 1989, el científico informático británico Tim Berners-Lee inventó finalmente la World Wide Web. Quería facilitar el intercambio de información a través de un sistema de «hipertexto». Pero él no sabía en ese momento el impacto que su invento iba a tener en el futuro.

A partir de los años 90, la creación de datos se ve impulsada a medida que cada vez más dispositivos están conectados a Internet. En 1995 se construyó la primera supercomputadora. Que fue capaz de hacer tanto trabajo en un segundo de lo que puede hacer una calculadora operada por una sola persona en 30.000 años.

El Siglo XXI

En 2005, Roger Mougalas de O'Reilly Media acuñó el término Big Data por primera vez, solo un año después de que crearan el término Web 2.0. que se refiere a un gran conjunto de datos que es casi imposible de administrar y procesar con herramientas tradicionales de inteligencia empresarial.

2005 es también el año en que Yahoo! creó Hadoop, construido sobre MapReduce de Google. Su objetivo era indexar toda la World Wide Web y, hoy en día, muchas organizaciones utilizan Hadoop de código abierto para analizar grandes cantidades de datos.

A medida que comienzan a aparecer más y más redes sociales y la Web 2.0 toma vuelo, se crean más y más datos a diario. Las startups innovadores lentamente comienzan a profundizar en esta enorme cantidad de datos y también los gobiernos comienzan a trabajar en proyectos de Big Data. En 2009, el gobierno de la India decide tomar un escáner de iris, una huella digital y una fotografía de sus 1.200 millones de habitantes. Dentro de la historia del big data este fue un momento crucial. Ya que todos estos datos se almacenaron en la base de datos biométrica más grande del mundo.

En 2010 Eric Schmidt habla en la conferencia Techonomy en Lake Tahoe en California y afirma que «hubo 5 exabytes de información creada por el mundo entero entre los albores de la civilización y 2003. Ahora esa misma cantidad se crea cada dos días».

En 2011, el informe McKinsey sobre Big Data menciona: la próxima frontera para la innovación, la competencia y la productividad, establecía que solo en 2018 los EE. UU. enfrentarían una escasez de 140.000 – 190.000 científicos de datos, así como 1,5 millones de administradores de datos.
En los últimos años, ha habido un aumento masivo de nuevas empresas de Big Data, todas tratando de lidiar con datos y ayudando a las organizaciones a comprenderlos. Cada vez más empresas están adoptando y avanzando lentamente hacia una cultura basada en datos.

Su finalidad. El Big Data es usado por la mayoría de las industrias para identificar patrones y tendencias. También para responder preguntas, detectar las necesidades del mercado, las demandas y para obtener información sobre los clientes.

Objetivos que persiguen las empresas que utilizan esta tecnología.

Mejorar la gestión de operaciones encontrando en el análisis de flujos de datos oportunidades de eficiencia y ahorro de recursos.

El otorgar servicio personalizado es un interés por adaptar la oferta de servicios a las necesidades del consumidor; incluso con precios ajustados para generar mayor ventaja competitiva.

El fortalecimiento de marca se trabaja habilitando mejores canales de interacción con los clientes; esto provoca incremento en la presencia de la marca con los consumidores, mejorando la fidelidad e importancia para ellos.

Tomar decisiones de forma más rápida, eficiente y sin complicaciones, además de identificar nuevas oportunidades de negocio.

El punto de referencia para la preparación corporativa es que los resultados del análisis de big data deben alcanzar un umbral de precisión del 95% y deben ofrecer este nivel de rendimiento de manera constante.

Propósitos que ayuda a cumplir el objetivo de la organización con apoyo a estas tecnologías.

Ayuda a las organizaciones a aprovechar sus datos y utilizarlos para identificar nuevas oportunidades.

Dado que los intentos de intrusión de seguridad ocurren a diario, revisar estos dispositivos, trabajar con los proveedores y garantizar que se puedan realizar configuraciones que se ajusten a los estándares corporativos de seguridad y gobierno, son aspectos primordiales.

Aunque la administración es muy consciente de la importancia del big data, la inteligencia artificial y el IoT, no está de más informarles regularmente sobre proyectos y nuevos desarrollos. Esto mantiene a la gerencia al tanto y ayuda a asegurar un apoyo continuo.

El Big Data genera mayor productividad en las empresas ya que reduce los costos al tener información actualizada constantemente. Además, contar con un software en la nube implica el ahorro de grandes infraestructuras para el almacenamiento de datos.

Al mantener un control rápido y eficaz de los datos de la empresa es posible identificar posibles amenazas internas y externas. Además, permite detectar puntos débiles en la seguridad para reforzar.

Ventajas para la organización al utilizar la tecnología.

Mejora de la toma de decisiones. Mediante el análisis de datos se mejora la toma de decisiones en la organización. Se trata de reducir los riesgos estudiando la información de clientes, empleados o la que generan sensores localizados en productos. De esta manera, es posible llegar a decisiones inteligentes de forma ágil y con máxima probabilidad de éxito.

Mejora en la eficiencia y optimización de costes. El análisis de Big Data puede acelerar la velocidad con la que se desarrolla un producto. La empresa maneja ingentes datos que, explotados con un programa de Big Data analytics para la industria, acortan el desarrollo. Esto se traduce en una reducción de costes, y, por lo tanto, grandes beneficios para a la empresa.

Segmentación de los clientes. Las empresas pueden orientar productos y servicios a satisfacer las necesidades y deseos de los consumidores de manera específica. Gracias al Big Data es posible utilizar todos los datos sobre los clientes de los que dispone la organización para desarrollar un marketing personalizado. Igualmente, el desarrollo de productos y servicios o la atención cliente también gana en eficiencia con una correcta explotación de los datos.

Seguridad en los datos. Gracias al Big Data se puede mantener un control rápido y eficaz del ecosistema de datos de la organización para identificar potenciales amenazas internas. Además, es posible detectar si hay información sensible que no está protegida de manera adecuada.

Mejora de la accesibilidad de la información dentro de la empresa. Al digitalizar los datos y habilitar herramientas que facilitan la búsqueda de información se genera una dinámica de trabajo más fluida. Lo que se traduce en mayores beneficios para la empresa.

Desventajas para la organización al utilizar esta tecnología.

Entre las desventajas del uso de la tecnología en las organizaciones podemos señalar la dependencia que estas pueden generar tanto en los empleados, como en la organización en sí, al punto de paralizar cualquier proceso de llegar a fallar por cualquier eventualidad. Puede hacer que los trabajadores olviden o desconozcan cómo ejecutar algún proceso de forma manual.

En algunos casos, el uso de la tecnología puedes reducir la creatividad de los empleados debido a la automatización procesos que pueden tornarse monótonos y continuos, pues no ameritan ni aceptan ningún tipo de cambio.

Si bien en algunos aspectos la tecnología contribuye con la seguridad de la empresa, en otros puede ponerla en riesgo.

Todos los datos que se almacenan de forma digital o en la nube, pueden ser susceptibles a al robo, eliminación o perdida, lo cual podría poner en riesgo a la empresa.

El mundo de la tecnología evoluciona constantemente, por esta razón, una vez que se incorpora en la organización, es necesario que se actualice con cierta regularidad para no quedarse atrás con respecto a la competencia y a la sociedad misma. Esta actualización exige una inversión.

A mayor dependencia de la tecnología, mayor vulnerabilidad tendrá la compañía, pues como se señaló con anterioridad, se puede incurrir en el error de olvidar o desconocer la forma de ejecutar procesos de forma manual ante cualquier eventualidad.

Facilidades que obtiene la empresa al utilizar esta tecnología.

Otro beneficio que ofrece la tecnología a las empresas es una mayor eficiencia operativa. Uno de los principales usos de la tecnología en las operaciones tiene que ver con la automatización de las líneas de producción, lo que a la larga ayuda incluso a reducir costos de mano de obra y eficiente el trabajo.

El self service (autoservicio) puede ser una de las maneras en las que puedes hacer que esto suceda en tu empresa. Por ejemplo, ya hay muchos supermercados que han implementado el uso de cajas de auto cobro para que los usuarios puedan agilizar el proceso de pago e irse del lugar mucho más rápido que antes.

La tecnología también ofrece a las empresas la posibilidad de expandirse en tiempos mucho más cortos de los que se podía hacer anteriormente.

Por ejemplo, el uso de las tecnologías basadas en la nube permiten que muchas compañías puedan administrar mayores cantidades de información, eliminando la necesidad de contar con una infraestructura física para sus operaciones, como más oficinas, equipos de cómputo e, incluso, más personal.

El uso de la tecnología ayuda a mejorar la rentabilidad de los negocios. Esto se debe a que la tecnología permite a las empresas reducir los costos de producción, almacenamiento y distribución de productos, reduciendo los gastos que se hacen en energía, materiales y mano de obra.

Esto se puede lograr con la administración de los procesos de producción con el apoyo de sistemas informáticos o llevando la empresa hacia la digitalización de datos e información usando herramientas como los Sistemas ERP (Enterprise Resource Planning) o los CRM (Customer Relationship Management).

Uno de los beneficios de la tecnología más interesantes y atractivos para las empresas es la facilidad de la comunicación entre los empleados, dado que permite una mayor colaboración y mejora la eficiencia.

Por ejemplo, los correos electrónicos, las videoconferencias y los distintos softwares de colaboración como Zoom, Slack, Asana o Teams empresarial, permiten a las empresas compartir información y trabajar en equipo para ejecutar las tareas de manera más rápida.

Al igual que la tecnología mejora los flujos de comunicación, también sirve para optimizar el teletrabajo, debido a que las herramientas antes mencionadas son grandes aliadas a la hora de sustentar el trabajo a distancia.

En muchos casos, ya no es indispensable que las personas vayan diariamente a sus oficinas, porque cuentan con todo lo necesario para cumplir con sus labores de manera remota.

Un gran ejemplo de esto, son los call center empresariales que funcionan 100% remoto, lo que permite que los agentes de atención al cliente ya puedan trabajar desde cualquier lugar del mundo gracias a las tecnologías de telefonía basadas en la nube.

Proveedores del Big Data.

IBMfue el proveedor más grande de Big Data en el 2012 con un ingreso de 1,3 mil millones de dólares, según un reporte reciente de Wikibon, gracias a la venta de productos y servicios relacionados con Big Data.

HPfue el segundo proveedor más grande de Big Data en el 2012 por sus ingresos de 664 millones de dólares. Esta empresa también ofrece una mezcla de hardware, software y servicios, y es conocida por la plataforma de análisis Vertica.

Teradata fue el tercer proveedor más grande de Big Data del 2012 con un ingreso de 435 millones de dólares. Esta es conocida por sus plataformas de hardware, de software analítico y de base de datos. También ofrece herramientas analíticas específicas para industrias de distribución y transporte.

Empresas que utilizan Big Data.

• Amazon es uno de los gigantes del Retail online. Cuando una persona contacta a servicio al cliente con una solicitud o consulta, el empleado que responde ya tiene en su pantalla toda la información sobre el consumidor: qué productos busca, cuáles ha comprado, en qué momento del día, etc. En pocas palabras, tienen el poder de saber cómo gasta su dinero.

Amazon es el rey del ecommerce porque adoptó tecnología de vanguardia para recolectar, analizar y utilizar la cantidad masiva de datos a la que tienen acceso a partir del historial de búsqueda y de compra de una persona. Por eso, son los mejores en temas como optimización de la cadena de suministro, optimización de precios y detección de fraudes.

• Con aproximadamente 100 millones de usuarios, los analistas de datos de Netflix recolectan y analizan enormes cantidades de datos relacionados al comportamiento del usuario: los géneros que busca, el número de capítulos que ve seguidos, el tiempo que se demora escogiendo algo que ver, etc.

Así, Netflix no solo es capaz de predecir qué quiere ver una persona sino qué tipo de series o películas debe producir y qué actores tienen mejor acogida dependiendo del público. Por ejemplo, Adam Sandler resultó ser muy impopular en el mercado cinematográfico Estados Unidos y en el Reino Unido, pero Netflix firmó cuatro nuevas películas con él en 2015, con el respaldo de que su trabajo previo había sido muy exitoso en Latinoamérica.

Pero el análisis de datos en Netflix no es algo nuevo. De hecho, desde que era un servicio de DVD por correo físico, una de las prioridades de la plataforma era recolectar datos para construir un sistema de recomendaciones.

• Gracias al análisis de datos, Apple ha logrado posicionarse no solo como la mejor compañía de tecnología, sino como una de las que más clientes FIELES tiene alrededor del mundo.

Gracias a la amplia gama de aplicaciones que han lanzado para banca, seguros, viajes y entretenimiento y al lanzamiento de dispositivos portátiles como el iWatch, Apple está recopilando más datos de clientes que nunca. Así, las apps conocen a sus usuarios y la experiencia es cada vez más personalizada, al punto de que no puedan vivir sin sus productos Apple.

Usos del Big Data en la empresa.

Big Data para optimizar procesos y reducción de tiempos

En otros casos, hay empresas que utilizan esta información para optimizar procesos y obtener resultados en menos tiempo, lo cual afecta también al coste total. La compañía farmacéutica Bristol-Myers Squibb, al adoptar tecnologías Big Data, consiguió reducir el tiempo de las simulaciones de ensayos clínicos hasta en un 98%. Utilizó Amazon Web Services (AWS) para construir un portal seguro donde almacenar la investigación de pruebas clínicas a demanda realizadas por científicos y así pudo establecer unas reglas y minimizar los costes técnicos. Pruebas que antes tardaban 60 horas en realizarse ahora se realizan en 1,2 horas en la nube de AWS. En el mismo sector de las empresas farmacéuticas, Procter & Gamble ha sido capaz de integrar en una única herramienta información sobre la manera en que los consumidores utilizan diariamente sus productos.

Retención de empleados con Big Data

Las tecnologías Big Data en Recurso Humanos han empezado a jugar un papel muy, con casos de éxito como el de Xerox, con una reducción de la tasa de abandono de un 20%. mejoras basadas izamos proyectos para reducir la rotación y favorecer el compromiso de los trabajadores: analizando los datos de la compañía, se hace un estudio descriptivo de las variables relacionadas con la permanencia, proponiendo acciones de mejora basadas en este análisis de datos (palancas para frenar la rotación, perfiles de las personas que abandonan la compañía, y otros datos de interés para la compañía) y estudiando el impacto económico de la rotación.

También puede aplicarse a una selección más estratégica, estableciendo la probabilidad de éxito de cada candidato, y se han dado casos de compañías que utilizan aplicaciones para recoger datos sobre desempeño en el trabajo y participación de los empleados en formación, resultados y satisfacción de los propios trabajadores para orientar la inversión destinada a los cursos.

Sistemas de alertas inteligentes con Big Data

Las tecnologías Big Data se utilizan para sistemas de alertas que recogen y procesan datos, ofreciendo pronósticos o predicciones temporales sobre su acción y posibles efectos. En el sector público estos sistemas se han utilizado frecuentemente en la gestión de riesgos o emergencias, desastres naturales como inundaciones, huracanes, volcanes, etc. Estos sistemas de alertas inteligentes también son la base de aplicaciones que incrementan la eficiencia de la asistencia sanitaria en casos de emergencia.

Un caso singular es el de la Organización de Naciones Unidas (ONU), que se sirvió de un sistema de alerta temprana en Indonesia para averiguar, a través de los medios sociales, el precio de los bienes de primera necesidad en este país del sudeste asiático: ternera, pollo, cebolla y chile.

En un ámbito completamente distinto, también se ha aplicado el Big Data en Bolsa, en el que un sistema de alertas puede avisar sobre picos o caídas inesperadas de las cotizaciones.

Más oportunidades de negocio con Big Data

IBM estableció una colaboración con The Weather company para realizar un estudio e identificar oportunidades de negocio en base al tiempo atmosférico y averiguar cómo impacta este en los negocios. Colocaron 100.000 sensores para recoger datos sobre el tiempo, además de la información de móviles, edificios y vehículos en movimiento. Según la compañía The Weather Company, se calcula que solo en los Estados Unidos este factor es responsable de la facturación de medio billón de dólares anuales.

También se han realizado estudios de eventos multitudinarios con tecnologías Big Data, una aplicación que se ha revelado como enormemente útil pues es posible estudiar el impacto económico de tales encuentros, conocer la evolución horaria del gasto de los turistas e incluso situarlo en un mapa.

El análisis de Big Data ayuda a las organizaciones a aprovechar sus datos y utilizarlos para identificar nuevas oportunidades. Eso, a su vez, conduce a movimientos de negocios más inteligentes, operaciones más eficientes, mayores ganancias y clientes más felices.

Características que marque diferencia en las empresas que utiliza Big Data.

El volumen se refiere a la cantidad de datos que son generados cada segundo, minuto y días en nuestro entorno. Es la característica más asociada al Big Data, ya que hace referencia a las cantidades masivas de datos que se almacenan con la finalidad de procesar dicha información, transformando los datos en acciones.

Cada vez estamos más conectados al mundo 2.0 por lo que generamos más y más datos. Para algunas empresas, el estar en el mundo digital es algo obligatorio, por lo que la cantidad de datos generados es aún mayor. Por ejemplo, una empresa que vende sus productos únicamente a través de un canal online, le convendría implantar tecnología Big Data para procesar toda aquella información que recoge su página web rastreando todas las acciones que lleva a cabo el cliente; conocer donde cliquea más veces, cuántas veces ha pasado por el carrito de la compra, cuáles son los productos más vistos, las páginas más visitadas, etc.

La velocidad se refiere a los datos en movimiento por las constantes interconexiones que realizamos, es decir, a la rapidez en la que son creados, almacenados y procesados en tiempo real.

Para los procesos en los que el tiempo resulta fundamental, tales como la detección de fraude en una transacción bancaria o la monitorización de un evento en redes sociales, estos tipos de datos deben estudiarse en tiempo real para que resulten útiles para el negocio y se consigan conclusiones efectivas.

La variedad se refiere a las formas, tipos y fuentes en las que se registran los datos. Estos datos pueden ser datos estructurados y fáciles de gestionar como son las bases de datos, o datos no estructurados, entre los que se incluyen documentos de texto, correos electrónicos, datos de sensores, audios, vídeos o imágenes que tenemos en nuestro dispositivo móvil, hasta publicaciones en nuestros perfiles de redes sociales, artículos que leemos en blogs, las secuencias de click que hacemos en una misma página, formularios de registro e infinidad de acciones más que realizamos desde nuestro Smartphone, Tablet y ordenador.

Estos últimos datos requieren de una herramienta específica, debido a que el tratamiento de la información es totalmente diferente con respecto a los datos estructurados. Para ello, las empresas necesitan integrar, observar y procesar datos que son recogidos a través de múltiples fuentes de información con herramientas cualificadas.

Cuando hablamos de veracidad nos referimos a la incertidumbre de los datos, es decir, al grado de fiabilidad de la información recibida.

Es necesario invertir tiempo para conseguir datos de calidad, aplicando soluciones y métodos que puedan eliminar datos imprevisibles que puedan surgir como datos económicos, comportamientos de los consumidores que puedan influir en las decisiones de compra. La necesidad de explorar y planificar la incertidumbre es un reto para el Big Data que está a la orden del día en las compañías dedicadas al análisis de datos.