写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

解答

大数据框架中常用的列式存储格式有Parquet和ORC。

ORC通常作为数据表的数据格式应用在Hie和Presto等计算引擎中,它们对ORC读写进行了优化;

而Parquet提供了非常易用的读写API,用户可在应用程序(比如Spark或Mapreduce等分布式程序)中直接读写 Parquet格式的文件。

一般情况下,如果不是为了支持ACID特性和使用Hive等框架,列式存储格式建议首选Parquet。毕竟Parquet被称为大数据时代存储格式的事实标准。

补充

Parquet和ORC对比

对比要素ParquetORC
现状Apache顶级项目,自描述的列式存储格式
主导公司Twitter/ClouderaHortonworks
开发语言Java(Impala提供了C++实现)Java/C++
列编码支持多种编码,包括RLE、 delta、字典编码等与 Parquet类似
嵌套式结构通过与嵌套式数据模型Protobuf、Thrift、Avro等适配,完美支持嵌套式结构使用Hive复杂数据结构,比如通过list、 struct、map等实现嵌套嵌套层数较多时过于烦琐。
ACID不支持支持粗粒度ACID
索引支持Row Group/Chunk/Page级别索引支持File/Stripe/Row级别索引
支持的计算引擎Hive、Presto、Impala和Spark等Hive、 Presto和 Spark等
查询性能据Netflix公布的测试结果,ORC稍高
压缩能力一般情况下,ORC能达到更高的压缩比,同等规模数据占用的磁盘空间更小

Parquet

详情请见我的另一篇博客——Parquet是什么

ORC

详情请见我的另一篇博客——ORCFile是什么?

Q.E.D.


大数据开发工程师,精通 Spark,擅长 Java 和 Scala