基于第四代英特尔?至强?可扩展处理器的浪潮云海超融合压缩和纠删功能设计-电子发烧友网

浪潮云海InCloud Rail超融合一体机通过软件定义计算、存储和网络技术实现服务器的资源池化，为整个IT环境提供更高的可用性、安全性和扩展性，能够满足企业对于降低成本、简化管理、提高安全性和扩展性的需求，助力企业迁移核心业务上云，构建企业云数据中心。

面向海量的数据处理需求，浪潮云海超融合一体机提出一种融合压缩和纠删功能于一体的数据存储空间优化方案，该方案基于英特尔?至强?可扩展处理器提供的QAT加速器实现压缩功能，同时使用英特尔?智能加速库实现纠删功能，可同时支持数据压缩和纠删。在超融合一体机的海量应用归档数据场景，它需要在应用运行质量较少受影响的前提下，尽可能提升数据存储效率。在控制成本的前提下，开启同时支持压缩和纠删特性，对于数据库应用节省存储空间最高可达70.5%，且对性能的影响较低，能够助力用户提升数据库系统的投资收益、释放数据价值。

浪潮云海超融合一体机分布式存储InCloud dSAN

InCloud dSAN是浪潮云海超融合一体机中新一代的软件定义存储产品，面向用户在私有云、大数据、高性能应用、云原生、云边协同等多元化的应用场景。随着Intel 新一代CPU、NVMe硬盘、RDMA智能网卡等高性能物理硬件普及，InCloud dSAN在系统设计方面根据新一代物理硬件特点设计多种特色功能：

全异步和无锁化的编程技术，发挥CPU多核性能，：基于SPDK (Storage Performance Development Kit)高性能存储开发套件，引入Reactor、Thread、Poller三层逻辑抽象，设计轮询、异步化、无锁的软件框架，从网络、磁盘、管理等模块发挥CPU多核能力。

多种链路传输技术，支持多种组网形态：设计全栈RDMA功能，从虚拟机、存储协议层、副本数据转发层等内部网络传输方面，支持全栈的用户态RDMA链路传输，利用RDMA零拷贝特性降低时延。

全新的存储引擎设计，发挥NVMe极致性能：设计基于裸盘读写的全新引擎，设计元数据、日志、数据等逻辑空间，实现元数据管理、数据分配和I/O调度等逻辑。特别是针对NVMe硬盘，基于SPDK存储开发套件中的用户态NVMe库实现特有的NVMe存储引擎。

InCloud Rail一体机产品全景图

浪潮云海超融合在新一代G7硬件平台的压缩和纠删功能设计

在超融合的应用场景中，针对金融、医疗等行业的数据库应用不仅对实时读写、随机I/O访问和大规模数据集等场景对存储性能有极高要求，同时对于归档数据的存储空间也提出了新的需求，如医疗行业常见的PACS（Picture Archiving and Communication System）影像归档和通信系统，将日常产生的医学影像（包括核磁、CT、超声等图像）通过数字化方式海量存储，同时在需要时可快速调回查看，对存储系统归档和性能有较高的要求。为了应对此场景，浪潮云海新一代超融合一体机的InCloud dSAN设计了新型的数据压缩和纠删功能，该功能集成英特尔?QAT加速器和ISA-L加速库，在原有的高性能设计方案基础上满足了极致性能和极致数据压缩两种需求。

压缩和纠删方案主要思想：将压缩和纠删计算放置于缓存下刷阶段，可以避免在I/O访问过程中的压缩和纠删计算的性能损耗。通过智能的缓存管理，保障了热点数据的I/O访问集中在缓存层，避免在数据访问过程中的透写。

InCloud dSAN压缩和纠删功能设计架构图

数据分层管理：将数据存储划分为缓存层和数据层，其中缓存层使用高性的NVMe和Sata SSD存储，同时在缓存层使用多副本的设计，提供高性能数据存储能力。数据层提供冷数据存储，主要由HDD硬盘存储，提供高容量存储空间。

智能缓存管理：设计冷热分层的智能缓存管理，高效识别热点数据和冷数据。可支持针对特定的数据设置优先级，保证需要支持压缩和纠删的数据区域可优先保存于缓存空间中。

数据空间高效存储：在缓存层中由于副本存储，将上层应用的小块IO聚合，当数据变成冷数据下刷至存储层时，由于下刷采用数据对齐，可聚合成大块的顺序条带读写，可以在数据层进行高效的数据存储。

压缩和EC加速计算：在缓存层数据下刷时，首先经过QAT压缩处理，经过压缩的数据调用EC计算，将纠删和压缩数据存放到数据存储层。

为了验证该方案的性能，测试数据采用在金融和医疗等行业常见的基础Linux虚拟机镜像、Windows系统的SQLServer数据库，及Linux系统的Oracle数据库应用。调整QAT压缩的等级及ISA-L的EC纠删K/M模型，测试在不同的模型压缩、纠删及压缩和纠删后的节省空间，从测试结果分析，同时开启QAT和EC纠删最大空间可以节省比例达70.5%。