文/邓双林
在信息化社会，数据存储无处不在。从个人计算机上的文件保存，到企业数据中心的大规模存储，再到云计算平台的海量数据管理，数据存储技术已渗透至各个层面。数据存储不仅关乎数据的物理保存，更涵盖了数据的高效管理、便捷访问和严密保护。在现代计算体系中，数据存储是信息处理链条上的关键一环，直接影响着数据处理的效率与可靠性。
深耕数据存储技术领域二十余载的刘子锐，现任美团数据平台中心存储负责人，他集深厚技术功底、敏锐行业洞察力与出色管理能力于一身，是行业内的技术领航者。他的职业生涯横跨企业级存储与大规模分布式存储两大领域，展现了极强的技术适应力与前瞻视野，拥有从传统企业级存储向分布式存储系统全面演进的技术实践经历。在职业生涯中，刘子锐斩获了众多存储系统优化、负载均衡、数据管理等领域的专利成果，对前沿技术有着独到见解，有力推动了存储技术的革新与发展。
我们特别邀请了刘子锐先生，请他结合存储领域的技术积淀、项目实践经验与行业洞察力，解读数据存储技术的转型之路与未来展望。
问：从传统企业级存储到云计算分布式存储，您如何看待存储技术的发展演变?
刘子锐：存储技术变迁及计算与数据需求的演变息息相关。自2003年从中国科学技术大学少年班物理系毕业后，我便投身于企业级存储产品的研发。在Sun Microsystems(后被Oracle收购)工作期间，我参与了Oracle的主力存储产品Oracle ZFS Storage Appliance的软件开发。随后，我转战EMC(后被Dell收购)，在那里，我优化了Power Protect DD9900备份服务器产品的操作系统存储逻辑，将系统启动时间从漫长的一个多小时缩短至20分钟。
企业数据存储囊括了从业务数据到员工信息的方方面面。早年间，企业级存储依赖关系型数据库(如MySQL、Oracle)和文件系统来管理数据，单一系统的性能和可靠性是重中之重，主要解决数据备份、存储优化和容灾等需求。
然而，随着云计算和大数据来袭，数据量呈指数级增长，传统存储方式在业务扩展性和成本优化上显得力不从心。云计算的迅猛发展，使得传统企业存储产品的市场份额逐渐被基于云计算技术的分布式存储产品所蚕食。我紧随技术前沿，以架构师身份投身于云计算和互联网公司，专注于大规模分布式存储产品的研发。在百度云、腾讯云，我主导开发了云存储产品;在Microsoft Bing，我参与了横跨全球五大数据中心的数据存储产品的设计。分布式存储系统通过将数据分散存储在多个节点上，实现了高扩展性、低成本和强大的容错能力，成为云计算基础设施的重要支撑。
问：您在全球顶级互联网公司参与了多个分布式存储项目，遇到的最大技术挑战是什么?又是如何克服的?
刘子锐：最大的技术挑战主要体现在数据一致性、性能优化以及系统可靠性三方面。分布式存储系统需确保多节点间的数据一致性，这背后是复杂的分布式一致性协议在支撑。在腾讯云项目中，我参与了Raft一致性协议的优化工作，通过算法和流程改进，平衡了数据一致性与系统性能。随着数据量的激增，存储系统的读写性能成为关键。在Microsoft Bing项目中，我引入RocksDB对分布式存储引擎进行改造，大幅提升了存储系统的随机读写性能，为搜索引擎提供了强有力的数据支撑。在美团的Exabyte级(EB级，即数千PB)数据存储系统中，我带领团队通过数据冷热分层管理与生命周期精细配置，确保了系统在海量数据场景下的可靠性，还有效控制了成本，确保了业务的连续性与稳定性。
问：在美团这样的高数据量场景中，您带领团队取得了哪些具体成就?
刘子锐：在美团，我带领数据平台中心的分布式存储团队，负责支撑数据仓库与机器学习平台的存储服务。面对千PB级别的数据存储需求，我们在性能优化、数据冷热分层与系统可靠性方面取得了巨大突破。我们针对报表查询和机器学习平台的数据存取进行深度优化，有效提升了查询效率与模型训练速度。同时，基于数据访问频率和生命周期，我们实施了分层存储策略，大幅降低了存储成本。2024年度，我们为美团业务团队节省了数千万元。
此外，我们还优化了存储系统的容灾与数据恢复机制，确保系统在故障情况下仍能保持高可用性，支撑了美团业务的连续运行。这些成就帮助美团在数据高速增长的背景下，实现了性能、成本与可靠性的平衡，为业务决策提供了数据支撑。
问：您如何看待数据存储技术在云计算时代的未来趋势?
刘子锐：随着数据仓库规模攀升至数EB级别，数据存储问题已基本解决。然而，元数据(MetaData)的规模也随之扩大，传统关系型数据库面临性能瓶颈。大的元数据操作可能导致数据库锁定长达数十秒，因此，结合新软硬件技术改造传统数据库势在必行。
现存数据库为保证性能，需要在内存中保留热点数据，持久化则需要将所有数据保存至持久化介质，这影响了约20%的吞吐率。NVM(非易失性内存)的出现，以其容量大、持久化、低延迟、可按字节寻址的特点，引起了数据库领域的广泛关注。
作为美团数据平台中心存储负责人，我推动了美团与清华联合研究院发起基于NVM的数据仓库亿级别元数据存储索引优化项目。该项目充分利用NVM介质特性，结合数据库数据存储和访问、分配器、事务日志、索引数据结构等工作，摒弃了传统数据库因介质延迟差异而采用的内存缓存、日志及检查点等级制，我们探索并设计了新一代基于NVM特性的单层数据库，为未来的基于NVM的关系型数据库提供了一套成熟思路。
该项目将推动数据库存储系统向更高性能、更低延迟的方向发展。以美团为例，在数据库执行涉及数百万条记录的删除操作时，耗时从数十秒缩短至数秒，效率提升了一个数量级，极大地提高了美团的数据生产效率和可靠性。
数据存储是现代信息技术的基础，其重要性随数据量增长和应用场景多样化而愈发凸显。未来，随着新型存储介质、智能化管理技术和分布式架构的成熟，数据存储将继续为各行各业信息化进程提供坚实的技术支持。
