重复数据删除技术在云存储中的应用与实现

随着电子信息科技和互联网产业的高速发展，企业和个人产生了大量的数据，并且其中重要的数据需要安全存储，云存储技术很好的解决了这个难题。然而，在这些备份的数据中有大量都是冗余的，这些冗余数据的存储和传输浪费了大量的存储成本和网络带宽。针对这些问题，设计了一种高效的重复数据删除系统来减少重复数据的存储和网络传输首先针对常见的文件类型，为不同数据类型的文件提出了不同的分块算法，尤其是针对文档类文件，设计了一种改进的滑动窗口算法，通过牺牲少量重删率，但使得性能获得巨大提升；其次提出了一种分布式的系统来分治指纹库和实现数据的并行处理，该系统由1台Nameserver和多台Dataservers组成，Nameserver管理用户文件地址表信息，Dataserver管理该节点的指纹库和数据存储，对于用户文件地址表的索引提出了一种高效的索引结构；最后设计了一种高性能的具有三层过滤、判重结构的指纹库，进一步地提升了系统的性能。针对系统进行了相关测试。首先，对改进的滑动窗口算法进行了测试，结果表明，该算法相对于滑动窗口算法在损失少于10%重删率的基础上，使性能最高提升了30倍左右。其次，针对分布式系统的性能进行了测试，结果表明，数据节点数量增加到4台情况下，系统的吞吐率也得到了相应的提升3.12倍。最后，测试了单机情况下，有重删和无重删备份和恢复性能的对比，结果表明该系统的吞吐率是无重删系统的67%以上。