在过去的几年里，大数据一直是人们关注的焦点。这是因为人们期望通过对大数据的分析，可以理性地做原来基于经验和直觉的事情。让我们简单解释一下大数据的定义和与大数据密切相关的数据挖掘，并考虑大数据分析对社会的影响。我们还将提到我们与边缘 计算的关系。
什么是大数据？
什么是大数据？一般来说，它意味着 “用于积累、分析和处理大量实时发生的结构化或非结构化数据的技术，或数据本身的总称”。
结构化数据是传统上在数据库中管理的数据，即所谓的组织化数据。另一方面，非结构化数据是指尚未被组织的原始数据。
在大数据分析之前，来自现场的信息由人类进行分析，并在此基础上做出公司决策。在那里，需要人类多年的经验和直觉。然而，近年来，由于信息设备的发展，从现场自动收集的数据数量和类型加速增加，人类的负担也随之增加，分析所需的经验和直觉不是一蹴而就的。换句话说，尽管来自分析源头的数据在增加，但具有足够经验和直觉的人却在减少。
因此，数据挖掘技术的发展是为了支持数据分析和决策。数据挖掘是一种帮助寻找数据之间的相关性和发现大量数据之间有用关系的技术，与大数据分析密不可分。换句话说，它是一种支持决策的技术，通过代表人类的直觉和经验等过程发挥作用，迄今为止，这些都是用来推导分析的。
数据挖掘的概念来分析大数据
让我们仔细看看数据挖掘对大数据的分析。一般来说，大数据分析通常是基于以下模型（DIKW模型）。
“数据。数据“
这就是我们所说的保持收集的原始数据。这也是非结构化的数据。它的大小通常是从TB级开始的petapite。
“信息。信息“
这是原始数据的组织版本，基本上在这个阶段，数据挖掘可以提供帮助。这也是结构化的数据。
知识。知识
它是指从信息中获得的趋势和知识。近年来，数据挖掘工具使用人工智能和统计分析来支持这一阶段的知识。
“智慧。智慧“
它指的是人类从知识中的判断。
需要注意的是，数据挖掘工具可以从数据中产生信息，但最终还是要靠人类的判断来从信息中产生知识和智慧。
目前的技术需要数据之间的关联性，但需要人类从关联性的结果中推断出实际现象。这是一个被称为数据科学家的职业，做这个工作，但这是一个非常困难的工作。
之所以难度高，是因为除了分析数据的知识（统计分析、人工智能等），还需要熟悉当前的市场趋势和人类行为及心理。除了这种高度专业化的知识，还需要有从数据关联中推断现象的洞察力。可以说，这是一个必须在广泛的领域内平衡专业知识的职业。此外，这样的人力资源不可能在一夜之间培养出来，而且还存在着人力资源短缺的问题。可以说，这是大数据分析现状的一个问题。
另一方面，仅仅依靠人类传统经验和直觉的分析，可能会因为执行分析的人的猜测而忽略了重要的知识和智慧。在很多情况下，通过数据挖掘的客观大数据分析可以获得颠覆传统推测和常识的知识。这是大数据分析的一个主要优势。
大数据分析给社会带来的影响
正如目前所提到的，乍一看，可以从不相关的数据中找到规律，所以可以通过大数据分析来减少由于经验和直觉造成的失败。另外，我们也可以客观地支持人类的直觉和经验。如著名的 “尿布和啤酒 “案例，就有从大数据分析的结果中推翻销售措施的常识和猜测的例子。通过数据挖掘提取新的知识，它在审查销售和营销策略方面也是有效的。
在物流领域，通过在产品和纸箱上粘贴IC标签来收集数据，并进行大数据分析。通过分析哪些物流路线和产品的集中程度，有可能优化物流路线。此外，优化物流路线可以降低成本和运输时间。
在生产领域，你可以通过收集产品检测数据和分析趋势来提高产品质量。此外，通过在生产线的关键点安装传感器，用大数据分析收集到的takt time，也可以发现整个生产线的瓶颈问题。可以在生产设备上安装传感器，进行持续监测，收集和分析数据，预测故障。
这样一来，最大的好处是可以通过大数据分析获得新的知识，提高工作效率，优化操作。可以说，这是一个强有力的手段，它可以对应工作人口的减少和工作方式的改革，这个问题预计在未来会变得严重。
在物流和生产领域，大量的数据往往是实时产生的，而且很难停止每条生产线并收集数据。因此，在不停止生产线的情况下实时进行大数据分析时，通过边缘 计算，用边缘 AI来实现，被认为是有效的。
大数据分析使社会更有意义
到目前为止，我们已经简单地解释了大数据。现在有一个问题，就是数据科学家的短缺，但未来对大数据分析的需求会越来越多。相应地，在人工智能和边缘 计算的帮助下，大数据分析技术将继续发展。而这将一点一点地改变社会。它有望成为人类的一个有意义的变化。
