Los big data han estado en el punto de mira durante los últimos años. Esto se debe a que se espera que, mediante el análisis de big data, sea posible hacer lo que se basaba en la experiencia y la intuición de forma racional. Vamos a explicar brevemente la definición de big data y de minería de datos, que está estrechamente relacionada con el big data, y a considerar el impacto del análisis de big data en la sociedad. También mencionaremos nuestra relación con edge computing.
¿Qué es el big data?
¿Qué es el big data? En general, significa “un término genérico para la tecnología de acumulación, análisis y procesamiento de datos estructurados o no estructurados que se producen en grandes cantidades y en tiempo real, o los propios datos”.
Los datos estructurados son los que tradicionalmente se gestionaban en una base de datos, los llamados datos organizados. Los datos no estructurados, en cambio, son datos brutos que aún no han sido organizados.
Antes del análisis de big data, la información del campo era analizada por humanos y se tomaban decisiones empresariales en base a ella. Para ello, se necesitaban muchos años de experiencia e intuición de los seres humanos. Sin embargo, en los últimos años, la cantidad y el tipo de datos recogidos automáticamente del campo debido al desarrollo de los equipos de información ha aumentado a un ritmo acelerado, y la carga de los seres humanos ha aumentado, y la experiencia y la intuición necesarias para el análisis no se adquieren de la noche a la mañana. En otras palabras, el número de personas con suficiente experiencia e intuición está disminuyendo aunque los datos de la fuente de análisis aumenten.
Por lo tanto, la tecnología de la minería de datos se ha desarrollado para apoyar el análisis de datos y la toma de decisiones. La minería de datos es una tecnología que ayuda a encontrar correlaciones entre los datos y a descubrir relaciones útiles entre grandes cantidades de datos, y es inseparable del análisis de big data. En otras palabras, es una tecnología que apoya la toma de decisiones actuando en nombre de procesos como la intuición y la experiencia humanas que se han utilizado para derivar el análisis hasta ahora.
El concepto de minería de datos para analizar el big data
Veamos con más detalle la minería de datos para analizar los big data. En general, el análisis de big data suele basarse en los siguientes modelos (modelos DIKW):
“Datos: Datos“
Es lo que llamamos datos brutos que permanecen recogidos. También son datos no estructurados. Suele tener un tamaño que va desde los terabytes.
“Información: Información“
Se trata de una versión organizada de los datos brutos, y es básicamente en esta fase donde la minería de datos puede ayudar. También son datos estructurados.
El conocimiento: Conocimiento
Se refiere a las tendencias y al conocimiento obtenido a partir de la información. En los últimos años, las herramientas de minería de datos han utilizado la inteligencia artificial y el análisis estadístico para apoyar el conocimiento en esta etapa.
“Sabiduría: Sabiduría“
Se refiere al juicio humano a partir del conocimiento.
Es importante señalar que las herramientas de minería de datos pueden generar información a partir de los datos, pero en última instancia depende del juicio humano generar conocimiento y sabiduría a partir de la información.
La tecnología actual requiere la correlación entre los datos, pero es necesario que los humanos infieran los fenómenos reales a partir de los resultados de la correlación. Esto lo hace una profesión llamada científico de datos, pero es un trabajo muy difícil.
La razón por la que la dificultad es elevada es que, además de los conocimientos para analizar los datos (análisis estadístico, inteligencia artificial, etc.), es necesario conocer las tendencias actuales del mercado y el comportamiento y la psicología humanos. Además de estos conocimientos tan especializados, también se requieren conocimientos para inferir fenómenos a partir de correlaciones de datos. Puede decirse que es una profesión que debe equilibrar la experiencia con los conocimientos en una amplia gama de campos. Además, estos recursos humanos no pueden desarrollarse de la noche a la mañana, y hay escasez de recursos humanos. Se puede decir que es un problema en el estado actual del análisis de big data.
Por otro lado, el análisis que se basa únicamente en la experiencia humana convencional y la intuición puede pasar por alto conocimientos y sabiduría importantes a través de la especulación de la persona que realiza el análisis. Hay muchos casos en los que el análisis objetivo de big data mediante minería de datos puede obtener conocimientos que anulan la especulación convencional y el sentido común. Esta es una de las principales ventajas del análisis de big data.
El análisis de Big Data da impacto a la sociedad
Como se ha mencionado hasta ahora, a primera vista, la ley se puede encontrar a partir de datos no relacionados, por lo que es posible reducir los fallos debidos a la experiencia y la intuición mediante el análisis de big data. Por otra parte, podemos apoyar objetivamente la intuición y la experiencia humanas. Como hay un caso famoso como el de los “pañales y la cerveza”, hay ejemplos en los que el sentido común y la especulación de las medidas de venta han sido anulados a partir de los resultados del análisis de big data. La extracción de nuevos conocimientos a través de la minería de datos también es eficaz para revisar las estrategias de ventas y marketing.
En el ámbito de la logística, los datos se recogen colocando etiquetas IC en los productos y las cajas, y se realiza un análisis de big data. Al analizar qué rutas logísticas y qué cantidad de productos se concentran, es posible optimizar las rutas logísticas. Además, la optimización de las rutas logísticas reduce los costes y el tiempo de transporte.
En el sector de la producción, se puede mejorar la calidad de los productos recopilando datos de inspección de los mismos y analizando las tendencias. Además, instalando sensores en puntos clave de la línea de producción y analizando la cadencia recogida con big data, también es posible detectar cuellos de botella en toda la línea de producción. Los sensores pueden instalarse en los equipos de fabricación para una supervisión constante, y los datos pueden recogerse y analizarse para predecir los fallos.
De este modo, la mayor ventaja es que se pueden obtener nuevos conocimientos a través del análisis de big data para mejorar la eficiencia y la optimización de las operaciones. Se puede decir que es un medio poderoso que puede corresponder a la disminución de la población trabajadora y a la reforma del estilo de trabajo que se espera que el problema sea grave en el futuro.
En los campos de la logística y la producción, a menudo se generan grandes cantidades de datos en tiempo real, y es difícil parar cada línea y recoger los datos. Por lo tanto, cuando el análisis de big data se realiza en tiempo real sin detener la línea, se considera eficaz realizarlo con edge AI por edge computing.
El análisis de big data hace que la sociedad tenga más sentido
Hasta ahora, hemos explicado brevemente el big data. El problema es que hay escasez de científicos de datos, pero la necesidad de análisis de big data aumentará cada vez más en el futuro. En consecuencia, con la ayuda de la inteligencia artificial y edge computingla tecnología de análisis de big data seguirá desarrollándose. Y eso cambiará la sociedad poco a poco. Se espera que sea un cambio significativo para los seres humanos.
