恭喜百度沧海・存储团队与中国科学技术大学、清华大学合作的论文《Mantle:EfficientHierarchicalMetadataManagementforCloudObjectStorageServices》已正式被计算机系统领域学术会议SOSP'25(SymposiumonOperatingSystemsPrinciples)录用!
SOSP与OSDI并称为操作系统与系统软件领域具影响力的两大学术会议,是全球计算机领域公认的高荣誉殿堂。本届SOSP共收到368篇投稿,仅录用65篇,录取率低至17.7%,代表了该领域当前前沿、具影响力的研究成果。
该论文详细介绍了百度智能云对象存储BOS的分布式层级Namespace系统Mantle的核心设计。Mantle成功攻克了困扰业界多年的难题,使得对象存储BOS的层级Namespace能够同时具备可扩展性与高性能,为AI时代的大数据上云彻底扫清了障碍。
入选SOSP'25：百度智能云对象存储破解业界难题，扫清大数据上云障碍
注:标*为共同一作,其中BiaoCao为百度智能云架构师
传统对象存储的困境:层级Namespace难逃单机瓶颈
多年以来,HDFS一直是大数据存储的代名词。然而,随着数据规模的日益增大,其固有缺陷愈发凸显:其一,三副本机制导致存储成本高昂;其二,单Namenode的设计将文件规模限制在数亿级别,难以满足AI时代单桶百亿甚至千亿文件的扩展性需求;其三,复杂的运维工作对技术团队提出了极高要求。
在此背景下,具备「低成本、无限扩展、云原生免运维」等优势的对象存储,迅速成为构建新一代数据湖存储底座的共识,以支撑更大数据规模的大数据计算业务。但一个关键瓶颈横亘眼前:传统对象存储采用的「平坦Namespace」难以高效支持依赖文件系统语义的大数据计算任务(如目录遍历、递归删除、路径重命名等),导致其在特定场景下的性能远不如HDFS。
为了弥合这一鸿沟,业界普遍认为,为对象存储增加「层级Namespace」能力是必然趋势。但遗憾的是,主流云厂商的现有方案始终未能摆脱单机性能瓶颈,其扩展性与HDFS相比并无本质飞跃。
两大核心挑战:为何高性能的分布式层级Namespace如此难解?
构建一套面向大规模对象存储服务、真正分布式的层级Namespace,面临着两个长期未被攻克的严峻性能挑战:
长路径解析开销巨大:解析一个深层文件路径,如/A/B/C/D/file.txt,需要多次网络通信,累积延迟极高,严重拖慢计算效率。传统的客户端缓存,在对象存储基于RestfulAPI、无状态Proxy的架构下难以实施。而简单的并行路径解析方案,在高并发场景下又因线程过度调度而引发资源争抢,适得其反。
分布式事务冲突频发:当数千乃至上万个计算任务并发地对同一目录进行创建、删除或重命名操作时,传统分布式事务机制会产生海量的读写冲突与重试,导致系统吞吐量断崖式下跌。即便放宽隔离级别等缓解手段,也难以根治跨目录重命名等复杂操作带来的根本性冲突问题。
正因为如此,业界一直缺乏一种既能发挥对象存储成本与扩展性优势,同时又能媲美HDFS性能的真正可扩展、高性能的层级命名空间解决方案,导致「对象存储成为数据湖存储底座」的愿景,在实际落地中屡屡受阻。
Mantle:全球破局者——融合文件和对象存储的优势,构建数据湖坚实底座
百度沧海・存储研发的Mantle,正是全球范围内一个公开的、完整解决上述两大难题,并成功经受了超大规模生产环境长期检验的「分布式层级Namespace系统」。
Mantle创新性地将传统文件系统的强大语义优势,与新型对象存储的低成本、可扩展、云原生易运维特性融合,实现了革命性的突破,为EB级别的新一代数据湖打开了想象空间。
此次入选SOSP'25的论文,所阐述的正是这套兼具扩展性与卓越性能的方案,它标志着对象存储真正成为云原生数据湖的坚实底座。
入选SOSP'25：百度智能云对象存储破解业界难题，扫清大数据上云障碍
卓越性能:延迟降低高99.1%,吞吐提升高115倍
分布式层级Namespace系统Mantle不仅解决了理论难题,更在实践中创造了令人惊叹的性能表现:
性能:与Tectonic、InfiniFS和LocoFS等业界新进展相比,Mantle将元数据访问延迟降低了6.6%至99.1%,吞吐量提高了0.07倍至115.00倍。
业务加速:在交互式Spark分析场景,作业完成时间缩短了63.3%至93.3%。在AI驱动的音频预处理任务中,作业完成时间缩短了38.5%至47.7%。
目前,Mantle已在百度智能云对象存储BOS的生产环境中大规模上线超过两年,提供了成熟可靠的服务。它为云上众多客户的大数据分析、人工智能、自动驾驶等关键业务提供了坚实、高效的存储底座。
不止于论文:百度沧海・存储元数据面架构的创新故事
关于Mantle论文技术解读,以及百度沧海・存储元数据面架构的创新故事,后续将在微信公众号百度智能云技术站,敬请期待!
