用于透明块设备级压缩的自适应映射的制作方法

本文描述的实施例通常上涉及块设备级压缩映射。更具体地，本文描述的实施例涉及用于透明块设备级压缩的自适应映射。背景技术：：1、块存储，或称为块级存储，是一种常见的存储形式，用于例如在存储区域网络上、在基于云的存储环境中等以块的形式存储数据。每个块可以作为具有唯一标识符的单独件来存储。基于云的块存储或基于云的块存储设备是云服务提供方(csp)提供的常见产品。在块存储或块存储设备中，透明压缩可能是期望的特征，通过该特征可以在块设备级进行压缩，并且压缩对于主机(例如，运行用户的应用的服务器)可以是透明的，并且主机上可能不需要附加的软件改变。由于例如压缩地址(即，用于块存储设备的地址)与未压缩地址(即，呈递给主机的地址)之间的非线性映射，需要仔细地维护并且追踪未压缩块地址与压缩块地址之间的映射。现有映射要么具有可能不适合本地存储器的映射表，这需要对外部存储装置(例如磁盘)的附加读取/写入，和/或可能导致额外的延迟和/或低吞吐量。技术实现思路1、本文公开的实施例中的特征可以通过利用来自工作负载的顺序输入/输出(i/o)模式来帮助优化性能，从而在处置顺序i/o请求时在块设备上提供更高的吞吐量或带宽和/或更低的开销。本文公开的实施例可以包括在段映射与扁平哈希表映射之间动态地切换的自适应映射方案。2、本文公开的实施例中的特征可以降低存储器开销。所有映射信息可以在存储器中追踪，而不是在诸如磁盘的外部存储设备上追踪，并且可能不需要额外的磁盘读取。基于段的映射可以出于更好的吞吐量而用于顺序i/o。基于扁平哈希表的映射可以针对低延迟而用于随机i/o。本文公开的映射方案可以动态地适应顺序i/o和/或随机i/o，并且可以享受基于段的映射和基于扁平哈希表的映射方案两者的优点。3、在一个示例实施例中，一种用于数据压缩的自适应映射的方法包括：确定输入/输出(i/o)请求模式；基于确定的i/o请求模式，在段映射方式(segment mapping mode)与扁平哈希表映射方式(flat hash table mapping mode)之间动态地切换；更新用于段映射方式和扁平哈希表映射方式的共享映射表；以及基于确定的i/o请求模式和条目的状态，调整映射表的条目。4、在另一示例实施例中，一种块存储设备控制系统包括：存储器区域，追踪共享映射表；和处理器，以确定输入/输出(i/o)请求模式，基于确定的i/o请求模式在段映射方式与扁平哈希表映射方式之间动态地切换，访问用于段映射方式和扁平哈希表映射方式的映射表，基于确定的i/o请求模式和条目的状态，调整映射表的条目，将未压缩数据压缩成压缩数据，并且将压缩数据存储到块存储设备中对应于经调整的条目所指示的压缩块地址的空间。5、在又一示例实施例中，提供一种非暂态计算机可读介质，具有存储在其上的计算机可执行指令。该指令在执行时使一个或多个处理器执行操作，包括：确定输入/输出(i/o)请求模式；基于确定的i/o请求模式，在段映射方式与扁平哈希表映射方式之间动态地切换；访问用于段映射方式和扁平哈希表映射方式的共享映射表；基于确定的i/o请求模式和条目的状态，调整映射表的条目；将未压缩数据压缩成压缩数据；和将压缩数据存储到块存储设备中对应于经调整的条目所指示的压缩块地址的空间。6、应当理解，可以使用“扁平映射表”方案，用于映射和/或追踪从未压缩块地址到压缩块地址的映射。也就是说，使用未压缩块地址来寻址扁平映射表。例如，未压缩块地址被用作扁平映射表的索引，并且扁平映射表的每个条目包含用于块存储设备的对应压缩块地址。使用扁平映射表方案，假设每个4千字节(kb)未压缩地址使用64位映射条目，管理64太字节(tb)存储空间可能需要大小为128千兆字节(gb)的扁平映射表。这样大的扁平映射表可能导致性能问题，因为扁平映射表可能不适合诸如动态随机存取存储器(dram)的存储器，并且可能必须被存储在外部磁盘(例如，诸如块存储设备等的存储设备)上，并且几乎每个输入/输出(i/o)都可能需要从磁盘额外读取。通常4gb高速缓存(对于映射表)可以覆盖2tb的存储空间。如果正被管理(例如压缩等)的存储空间是64tb，则在随机i/o下，高速缓存的命中率可能为约3.1％(2/64)，并且几乎每个i/o都可能需要从磁盘额外读取。随着存储空间变得越来越大(例如，更多磁盘附接到存储设备)，高速缓存的命中率可能会成比例下降，导致甚至更差的性能。7、还应当理解，可以使用“哈希表”机制或方案来将未压缩地址映射到压缩地址。在这样的方案中，使用哈希表，并且哈希表使用单个哈希函数(没有配置和/或具有单种配置)来将未压缩地址映射到压缩地址。然而，一个哈希函数可能不会导致正确的映射。可能需要多次尝试才能得到正确的映射，这可能会导致额外的延迟和/或较低的吞吐量。8、进一步应当理解，可以使用“扁平哈希表”机制或方案来将未压缩地址映射到压缩地址。对于顺序读取或写入(例如32kb读取或写入等)，每个4kb块地址都可以单独地使用哈希函数中的一个哈希函数来映射。在映射之后，32kb请求然后可以变成块设备(或块存储设备，例如磁盘等)上的八个随机读取或写入请求。在这样的情况下，通过利用来自工作负载的顺序输入/输出(i/o)模式来优化性能(在块设备上提供更高的吞吐量或带宽和/或更低的开销)可能会失败。技术特征：1.一种用于数据压缩的自适应映射的方法，所述方法包括：2.根据权利要求1所述的方法，还包括：3.根据权利要求1所述的方法，其中所述i/o请求模式包括顺序模式或随机模式，并且4.根据权利要求3所述的方法，其中所述状态包括无映射、段映射、和哈希映射，并且5.根据权利要求4所述的方法，还包括：6.根据权利要求1所述的方法，其中所述条目包括开放标志，所述方法还包括：7.根据权利要求6所述的方法，还包括：8.根据权利要求1所述的方法，其中所述条目包括起始地址和总长度，所述方法还包括：9.根据权利要求1所述的方法，其中所述条目包括多个子条目，每个子条目包括哈希函数索引和使用位图，所述方法还包括：10.根据权利要求1所述的方法，还包括：11.一种块存储设备控制系统，所述系统包括：12.根据权利要求11所述的系统，其中所述i/o请求模式包括顺序模式或随机模式，所述处理器还用以：13.根据权利要求12所述的系统，其中所述状态包括无映射、段映射、和哈希映射，所述处理器还用以：14.根据权利要求13所述的系统，所述处理器还用以：15.根据权利要求11所述的系统，其中所述条目包括开放标志，所述处理还：16.一种非暂态计算机可读介质，具有存储在其上的计算机可执行指令，所述指令在执行时使得一个或多个处理器执行操作，包括：17.根据权利要求16所述的计算机可读介质，其中所述条目包括开放标志，所述操作还包括：18.根据权利要求17所述的计算机可读介质，所述操作还包括：19.根据权利要求16所述的计算机可读介质，其中所述条目包括起始地址和总长度，所述操作还包括：20.根据权利要求16所述的计算机可读介质，其中所述条目包括多个子条目，每个子条目包括哈希函数索引和使用位图，所述操作还包括：技术总结本公开实施例涉及用于透明块设备级压缩的自适应映射。一种用于数据压缩的自适应映射的方法包括：确定输入/输出(I/O)请求模式；基于确定的I/O请求模式，在段映射方式与扁平哈希表映射方式之间动态地切换；更新用于段映射方式和扁平哈希表映射方式的共享映射表；以及基于确定的I/O请求模式和条目的状态，调整映射表的条目。技术研发人员：周平,李龙霄,许鹏,范勤,胡潮红,刘飞,张晖,徐迪受保护的技术使用者：脸萌有限公司技术研发日：技术公布日：2024/8/16