写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见100个问题搞定大数据理论体系

解答

目前,数据库领域有几大核心发展趋势,

云原生和分布式技术的融合大数据与数据库一体化,包括HTAP以及离在线一体化;

智能化技术深度融合,即自感知+自决策+自恢复+自优化;

Multi-Model多模

软硬件一体化,充分发挥新硬件的优势;

安全可信技术,即可验证日志、数据隐私保护与安全多方计算+全链路加密。

关于云原生请参考我的这篇博客——什么是云原生数据库?

在数据分析领域,企业亟需高效解决海量数据深度计算分析,下一代数据分析演进方向应该是“以云原生为基础,离在线一体化技术融合,实现数据库大数据一体化”。“数据库大数据一体化”的云原生数据分析系统能够很好的提供弹性扩展、海量存储、多种计算及低成本等能力,有效解决海量数据深度计算分析的业务分析和创新诉求。

“数据库大数据一体化”也是业界近年的发展趋势。Gartner “There is only one DBMS Market”报告指出,过去根据业务场景按照分析型和交易型需求,需要独立发展OPDBMS(事务处理)和DMSA(管理与分析),而未来分析型和交易型数据操作对技术架构依赖性会更小,将不再需要独立区分OPDBMS和DMSA,通过一体化的数据处理技术即可满足大多诉求。

从技术架构演进过程来看,2003至2006年,Google发布了关于Google File System、MapReduce和BigTable三篇海量数据存储、处理技术论文,奠定了今天大数据的整个技术生态圈的基石。2012年至今,随着云计算的发展,云计算的资源池化、存储与计算弹性扩展等基础设施升级,以及计算存储分离、在离线一体化等技术创新,促进了数据处理开始朝一份数据开放计算、存储计算分离的云原生方向演进,诞生了如Snowflake、AWS Redshift、AWS Aurora、AWS Athena为代表的新一代云原生数据库、数据仓库、数据湖,加速了数据处理向在线化、在离线一体化、结构化与非结构融合处理演进,加速业务走向数字化、数智化创新的新形态。

“数据库大数据一体化”的数据分析系统应具备几个特点:

云原生

一份存储多种计算

海量存储,支持结构化、半结构化及非结构化数据库的存储及计算;

全面兼容数据库生态

上一篇 下一篇