Big Data steht seit einigen Jahren im Mittelpunkt des Interesses. Denn es wird erwartet, dass durch die Analyse von Big Data das, was bisher auf Erfahrung und Intuition beruhte, rationalisiert werden kann. Erläutern wir kurz die Definition von Big Data und Data Mining, das eng mit Big Data verbunden ist, und betrachten wir die Auswirkungen der Big-Data-Analyse auf die Gesellschaft. Wir erwähnen auch unsere Beziehung zu edge computing.
Was ist Big Data?
Was ist Big Data? Im Allgemeinen bedeutet es “ein allgemeiner Begriff für Technologien zur Sammlung, Analyse und Verarbeitung strukturierter oder unstrukturierter Daten, die in großen Mengen und in Echtzeit anfallen, oder die Daten selbst”.
Strukturierte Daten sind Daten, die traditionell in einer Datenbank verwaltet wurden, so genannte organisierte Daten. Unstrukturierte Daten hingegen sind Rohdaten, die noch nicht organisiert wurden.
Vor der Big-Data-Analyse wurden die Informationen aus der Praxis von Menschen analysiert und darauf basierend Unternehmensentscheidungen getroffen. Dazu waren jahrelange Erfahrung und Intuition der Menschen erforderlich. In den letzten Jahren haben jedoch die Menge und die Art der Daten, die aufgrund der Entwicklung der Informationsausrüstung automatisch vor Ort gesammelt werden, in rasantem Tempo zugenommen, so dass die Belastung der Menschen zugenommen hat und die für die Analyse erforderliche Erfahrung und Intuition nicht über Nacht erworben werden kann. Mit anderen Worten: Die Zahl der Personen mit ausreichender Erfahrung und Intuition nimmt ab, obwohl die Daten aus der Quelle der Analyse zunehmen.
Daher hat sich die Technologie des Data Mining entwickelt, um die Datenanalyse und die Entscheidungsfindung zu unterstützen. Data Mining ist eine Technologie, die hilft, Korrelationen zwischen Daten zu finden und nützliche Beziehungen zwischen großen Datenmengen zu entdecken, und ist untrennbar mit der Big-Data-Analyse verbunden. Mit anderen Worten, es handelt sich um eine Technologie, die die Entscheidungsfindung unterstützt, indem sie anstelle von Prozessen wie menschlicher Intuition und Erfahrung eingesetzt wird, die bisher zur Ableitung von Analysen verwendet wurden.
Das Konzept des Data Mining zur Analyse von Big Data
Werfen wir einen genaueren Blick auf das Data Mining zur Analyse von Big Data. Im Allgemeinen basiert die Analyse von Big Data häufig auf den folgenden Modellen (DIKW-Modelle):
“Daten: Daten“
So nennen wir die Rohdaten, die gesammelt bleiben. Es sind auch unstrukturierte Daten. Es ist in der Regel die Größe von Terabyte petapite zu sein.
“Informationen: Informationen“
Es handelt sich um eine organisierte Version der Rohdaten, und genau in diesem Stadium kann Data Mining helfen. Es handelt sich auch um strukturierte Daten.
Wissen: Wissen
Dies bezieht sich auf Trends und Wissen, das aus Informationen gewonnen wird. In den letzten Jahren haben Data-Mining-Tools künstliche Intelligenz und statistische Analysen eingesetzt, um das Wissen in dieser Phase zu unterstützen.
“Weisheit: Weisheit“
Sie bezieht sich auf die menschliche Beurteilung von Wissen.
Es ist wichtig, darauf hinzuweisen, dass Data-Mining-Tools Informationen aus Daten generieren können, aber es liegt letztendlich am menschlichen Urteilsvermögen, Wissen und Weisheit aus Informationen zu generieren.
Die derzeitige Technologie erfordert eine Korrelation zwischen Daten, aber es ist notwendig, dass der Mensch aus den Korrelationsergebnissen auf tatsächliche Phänomene schließt. Es gibt einen Beruf, der sich Datenwissenschaftler nennt, der dies tut, aber es ist eine sehr schwierige Aufgabe.
Der Schwierigkeitsgrad ist deshalb so hoch, weil neben Kenntnissen zur Datenanalyse (statistische Analyse, künstliche Intelligenz usw.) auch Kenntnisse über aktuelle Markttrends und menschliches Verhalten und Psychologie erforderlich sind. Neben diesen hochspezialisierten Kenntnissen sind auch Einsichten erforderlich, um Phänomene aus Datenkorrelationen ableiten zu können. Man kann sagen, dass es sich um einen Beruf handelt, der ein Gleichgewicht zwischen Fachwissen und Kenntnissen in einem breiten Spektrum von Bereichen erfordert. Außerdem können solche Humanressourcen nicht von heute auf morgen entwickelt werden, und es herrscht ein Mangel an Humanressourcen. Man kann sagen, dass dies ein Problem beim derzeitigen Stand der Big-Data-Analyse ist.
Andererseits kann eine Analyse, die sich ausschließlich auf konventionelle menschliche Erfahrung und Intuition stützt, wichtiges Wissen und Weisheit durch die Spekulation der Person, die die Analyse durchführt, übersehen. Es gibt viele Fälle, in denen eine objektive Big-Data-Analyse durch Data Mining zu Erkenntnissen führen kann, die herkömmliche Spekulationen und den gesunden Menschenverstand außer Kraft setzen. Dies ist ein großer Vorteil der Big-Data-Analyse.
Big Data-Analysen geben der Gesellschaft Einfluss
Wie bereits erwähnt, kann das Gesetz auf den ersten Blick aus unverbundenen Daten gefunden werden, so dass es möglich ist, Fehler aufgrund von Erfahrung und Intuition durch Big Data-Analyse zu reduzieren. Alternativ dazu können wir die menschliche Intuition und Erfahrung objektiv unterstützen. Wie der berühmte Fall “Windeln und Bier” zeigt, gibt es Beispiele, bei denen der gesunde Menschenverstand und Spekulationen über Verkaufsmaßnahmen durch die Ergebnisse von Big-Data-Analysen widerlegt wurden. Die Gewinnung neuer Erkenntnisse durch Data Mining ist auch bei der Überprüfung von Vertriebs- und Marketingstrategien wirksam.
Im Bereich der Logistik werden Daten durch das Anbringen von IC-Etiketten an Produkten und Kartons gesammelt und Big Data-Analysen durchgeführt. Durch die Analyse, welche Logistikrouten und wie viele Produkte konzentriert sind, können die Logistikrouten optimiert werden. Außerdem werden durch die Optimierung der Logistikrouten Kosten und Transportzeiten reduziert.
Im Produktionsbereich können Sie die Produktqualität verbessern, indem Sie Daten zur Produktprüfung sammeln und Trends analysieren. Durch die Installation von Sensoren an Schlüsselpunkten in der Produktionslinie und die Analyse der gesammelten Taktzeit mit Big Data ist es außerdem möglich, Engpässe in der gesamten Produktionslinie zu erkennen. Sensoren können zur ständigen Überwachung in Fertigungsanlagen installiert werden, und die gesammelten Daten können zur Vorhersage von Ausfällen analysiert werden.
Der größte Vorteil besteht darin, dass durch die Big-Data-Analyse neue Erkenntnisse gewonnen werden können, um die Effizienz und die Optimierung der Abläufe zu verbessern. Man kann sagen, dass es sich um ein leistungsfähiges Mittel handelt, das dem Rückgang der Erwerbsbevölkerung und der Reform des Arbeitsstils entsprechen kann, die in der Zukunft zu einem ernsthaften Problem werden dürften.
In den Bereichen Logistik und Produktion werden oft große Datenmengen in Echtzeit generiert, und es ist schwierig, jede Linie anzuhalten und Daten zu sammeln. Wenn daher eine Big-Data-Analyse in Echtzeit durchgeführt wird, ohne die Linie zu stoppen, wird es als effektiv angesehen, diese mit edge AI zu realisieren, indem edge computing.
Die Analyse von Big Data macht die Gesellschaft sinnvoller
Bislang haben wir Big Data kurz erläutert. Es besteht das Problem, dass es einen Mangel an Datenwissenschaftlern gibt, aber der Bedarf an Big-Data-Analysen wird in Zukunft immer mehr zunehmen. Dementsprechend wird sich die Technologie zur Analyse von Big Data mit Hilfe von künstlicher Intelligenz und edge computingwird sich die Big-Data-Analysetechnologie weiter entwickeln. Und das wird die Gesellschaft nach und nach verändern. Es wird erwartet, dass dies eine bedeutende Veränderung für die Menschen sein wird.
