写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

解答

数据质量是基于对数据的评估,来确定它是否与预想的应用场景相匹配。

数据质量的评测基于多个维度的属性。下面是其中比较重要的部分属性: 

1. 正确性/准确性(correctness/accuracy): 表征了收集的数据所能描述客观世界的真实程度。
2. 完整性(completeness): 通过统计获取的数据包含了多少预期/预定的属性。
3. 一致性(consistency): 从多个系统中获取数据,并汇聚起来在一起对比,以此来衡量数据的一致性。
4. 时效性(timeliness): 表征了在指定的时间内及适当的场景中,向正确的人提供高质量数据的能力。
5. 元数据(metadata): 根据获取的数据中的附加数据来衡量。正如这个术语本身表明的那样,元数据是描述数据的数据,它可以用来定义数据本身,可以使数据更便于使用。

补充

为什么说数据质量很重要?

毫无疑问,高质量的数据(清洁数据)是组织不可或缺的重要资产。

反过来,如果基于低质量的数据来进行决策,反而会损害企业的利益和品牌价值,而品牌价值一旦流失就难以恢复了。

一般来说,如果数据有不一致、重复、歧义和不完整的情形,数据的可用性就下降了。如果对这些数据进行分析时体验不佳,业务用户就不会再考虑使用该数据了。

Q.E.D.


大数据开发工程师,精通 Spark,擅长 Java 和 Scala