数据压缩算法该如何选择?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据领域常见的压缩格式有 gzip,snappy,lzo,lz4,bzip2,zstd。补充为什么要进行


大数据技术框架有哪些类型?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答从数据在信息系统中的生命周期看,大数据从数据源开始,经过分析、挖掘到最终获得价值一般需要经过6个主要环节,


大数据开发主要做什么?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答一个大数据平台架构通常如图所示,大数据开发涵盖了图中从下到上各层的实现,其中主要的部分是采集层、储存层、计


什么是ETL?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答ETL,是英文Extract-Transform-Load的缩写,用来描述将业务系统的数据从来源端经过抽取


数据质量如何评测?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据质量是基于对数据的评估,来确定它是否与预想的应用场景相匹配。数据质量的评测基于多个维度的属性。下面是其


大数据和人工智能有什么关系?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据让人工智能变得更加智能,人工智能让大数据变得更有价值。


大数据和云计算有什么关系?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答云计算为大数据提供了有力的工具和途径,大数据为云计算提供了有价值的用武之地。补充云计算是大数据分析与处理的


大数据有哪些特征?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据特征通常指的4V。1.数据量大(Volume) 非结构化数据的超大规模和增长,导致数据集合的规模不断


什么是倒排索引?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答在一个未经处理的数据库中,一般以文档ID作为索引,以文档内容作为记录。而倒排索引(Inverted Ind


你认为传统的Yarn、Mesos调度方案存在哪些缺陷?

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1. Job需要的资源和需要处理的数据量、过程的复杂度强相关,而这两者在实际的生产系统中都不是一成不变的,