Les big data sont sous les feux de la rampe depuis quelques années. En effet, on s'attend à ce qu'en analysant les big data, il soit possible de faire rationnellement ce qui était basé sur l'expérience et l'intuition. Expliquons brièvement la définition des big data et de l'extraction de données, qui est étroitement liée aux big data, et examinons l'impact de l'analyse des big data sur la société. Nous mentionnerons également notre relation avec edge computing.
Qu'est-ce que le big data ?
Qu'est-ce que le big data ? En général, il s'agit d'un "terme générique désignant une technologie permettant d'accumuler, d'analyser et de traiter des données structurées ou non structurées qui se présentent en grande quantité et en temps réel, ou les données elles-mêmes."
Les données structurées sont des données qui étaient traditionnellement gérées dans une base de données, ce que l'on appelle des données organisées. Les données non structurées, quant à elles, sont des données brutes qui n'ont pas encore été organisées.
Avant l'analyse des big data, les informations provenant du terrain étaient analysées par des humains qui prenaient des décisions d'entreprise sur cette base. De nombreuses années d'expérience et l'intuition des êtres humains étaient alors nécessaires. Cependant, ces dernières années, la quantité et le type de données collectées automatiquement sur le terrain en raison du développement des équipements informatiques ont augmenté à un rythme accéléré, et la charge sur les humains a augmenté, et l'expérience et l'intuition nécessaires à l'analyse ne sont pas acquises du jour au lendemain. En d'autres termes, le nombre de personnes ayant l'expérience et l'intuition suffisantes diminue alors même que les données provenant de la source de l'analyse augmentent.
Par conséquent, la technologie de l'exploration de données s'est développée pour soutenir l'analyse des données et la prise de décision. L'exploration de données est une technologie qui aide à trouver des corrélations entre les données et à découvrir des relations utiles parmi de grandes quantités de données, et elle est indissociable de l'analyse des big data. En d'autres termes, il s'agit d'une technologie qui soutient la prise de décisions en agissant au nom de processus tels que l'intuition et l'expérience humaines qui ont été utilisés jusqu'à présent pour dériver l'analyse.
Le concept d'extraction de données pour analyser les données volumineuses
Examinons de plus près l'exploration de données pour analyser les big data. En général, l'analyse des big data est souvent basée sur les modèles suivants (modèles DIKW) :
"Data : Data"
C'est ce que nous appelons les données brutes qui restent collectées. Ce sont aussi des données non structurées. Sa taille est généralement de l'ordre du pétapite à partir de téraoctets.
"Information : Information"
Il s'agit d'une version organisée des données brutes, et c'est essentiellement à ce stade que l'exploration de données peut être utile. Il s'agit également de données structurées.
La connaissance : Connaissance
Elle fait référence aux tendances et aux connaissances obtenues à partir d'informations. Ces dernières années, les outils d'exploration de données ont utilisé l'intelligence artificielle et l'analyse statistique pour étayer les connaissances à ce stade.
"Sagesse : Wisdom"
Il s'agit du jugement humain à partir de la connaissance.
Il est important de noter que les outils d'exploration de données peuvent générer des informations à partir des données, mais c'est finalement au jugement humain de générer la connaissance et la sagesse à partir des informations.
La technologie actuelle exige une corrélation entre les données, mais il est nécessaire que les humains déduisent des phénomènes réels à partir des résultats de la corrélation. C'est une profession appelée "data scientist" qui s'en charge, mais c'est un travail très difficile.
La raison pour laquelle la difficulté est élevée est qu'en plus des connaissances pour analyser les données (analyse statistique, intelligence artificielle, etc.), il est nécessaire de connaître les tendances actuelles du marché ainsi que le comportement humain et la psychologie. En plus de ces connaissances hautement spécialisées, il faut aussi savoir déduire des phénomènes à partir de corrélations de données. On peut dire qu'il s'agit d'une profession qui doit trouver un équilibre entre l'expertise et les connaissances dans un large éventail de domaines. En outre, de telles ressources humaines ne peuvent être développées du jour au lendemain, et il y a une pénurie de ressources humaines. On peut dire que c'est un problème dans l'état actuel de l'analyse des big data.
D'autre part, une analyse qui s'appuie uniquement sur l'expérience et l'intuition humaines conventionnelles peut négliger des connaissances et une sagesse importantes par le biais de la spéculation de la personne qui effectue l'analyse. Il existe de nombreux cas où l'analyse objective des big data par l'exploration de données permet d'obtenir des connaissances qui renversent les spéculations conventionnelles et le bon sens. C'est un avantage majeur de l'analyse des big data.
L'analyse des big data donne un impact sur la société
Comme mentionné jusqu'à présent, à première vue, la loi peut être trouvée à partir de données sans rapport, il est donc possible de réduire les échecs dus à l'expérience et à l'intuition par l'analyse des big data. Par ailleurs, nous pouvons soutenir objectivement l'intuition et l'expérience humaines. Comme dans le cas célèbre des "couches et de la bière", il existe des exemples où le bon sens et la spéculation des mesures de vente ont été renversés à partir des résultats de l'analyse des big data. En extrayant de nouvelles connaissances grâce à l'exploration de données, elle est également efficace pour revoir les stratégies de vente et de marketing.
Dans le domaine de la logistique, les données sont collectées en apposant des étiquettes à circuits intégrés sur les produits et les cartons, et l'analyse du big data est effectuée. En analysant les itinéraires logistiques et la concentration de produits, il est possible d'optimiser les itinéraires logistiques. En outre, l'optimisation des itinéraires logistiques réduit les coûts et le temps de transport.
Dans le secteur de la production, vous pouvez améliorer la qualité des produits en collectant les données d'inspection des produits et en analysant les tendances. En outre, en installant des capteurs à des points clés de la chaîne de production et en analysant le takt time collecté avec le big data, il est également possible de détecter les goulots d'étranglement sur l'ensemble de la chaîne de production. Des capteurs peuvent être installés dans les équipements de fabrication pour une surveillance constante, et les données peuvent être collectées et analysées pour prévoir les défaillances.
De cette façon, le plus grand avantage est que de nouvelles connaissances peuvent être obtenues par l'analyse des big data pour améliorer l'efficacité et l'optimisation des opérations. On peut dire que c'est un moyen puissant qui peut correspondre à la diminution de la population active et à la réforme du style de travail que le problème devrait devenir sérieux à l'avenir.
Dans les domaines de la logistique et de la production, de grandes quantités de données sont souvent générées en temps réel, et il est difficile d'arrêter chaque ligne et de collecter les données. Par conséquent, lorsque l'analyse des big data est effectuée en temps réel sans arrêter la ligne, il est considéré comme efficace de la réaliser avec edge AI en edge computing.
L'analyse des big data donne du sens à la société
Jusqu'à présent, nous avons brièvement expliqué le big data. Le problème est qu'il y a une pénurie de data scientists, mais le besoin d'analyse des big data va augmenter de plus en plus à l'avenir. En conséquence, avec l'aide de l'intelligence artificielle et de l'informatique, la technologie d'analyse des big data continuera à se développer. edge computing, la technologie d'analyse des big data va continuer à se développer. Et cela va changer la société petit à petit. On s'attend à ce que ce soit un changement significatif pour les êtres humains.
