并行网络文件系统(PNFS)的设计与实现

并行I/O论文 并行网络文件系统论文 高性能计算论文 并行文件系统论文
论文详情
大规模并行计算中需要处理的数据量呈现爆炸性的增长,迫使I/O存储技术从DAS技术向SAN和NAS技术发展。SAN技术性能较高,但是性价比低,无法满足高性能计算(HPC)的迫切需求。IP网络,特别是以太网的快速发展,使得网络带宽从10Mbps迅速发展到1000Mbps,万兆以太网技术也已经出现,并得到了初步应用。IP网络的发展使得NAS技术成为具有较高性价比的存储技术,但是NAS设备使用的面向集中服务器结构的网络文件系统,使NAS设备的发展受到了限制。因此,迫切需要寻求一种解决方案能够将现有的NAS存储设备有效的组织起来,并在保留NAS设备原有优势的同时具有更高的性能,更高的扩展性,更高的安全性和更高的可管理性。本文深入研究了现有各种并行文件系统及其关键技术,对并行网络文件系统(PNFS)的体系结构进行了设计。实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。PNFS是对NFSv4协议的扩展,为客户端提供了并行访问文件数据的能力,实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系。PNFS主要由PNFS客户端、PNFS元数据服务器和存储服务器三个部分构成,本文将对这三部分的设计与实现进行了详细介绍。最后,本文在千兆以太网环境下对PNFS的原形系统进行了性能测试,结果表明PNFS能够提供较高的I/O读写带宽和较低的访问延迟,能较好的满足高性能计算中的I/O要求。
摘要第9-10页
ABSTRACT第10页
第一章 绪论第11-26页
    1.1 并行I/O的必要性第11-17页
        1.1.1 传统的I/O存储技术第11-13页
        1.1.2 网络文件系统NFS发展现状第13-14页
        1.1.3 应用需求第14-17页
        1.1.4 小结第17页
    1.2 I/O瓶颈的解决途径第17-19页
        1.2.1 硬件方法第17页
        1.2.2 软件方法第17-19页
    1.3 相关研究第19-24页
        1.3.1 典型的并行文件系统第19-22页
        1.3.2 并行网络文件系统的发展第22-23页
        1.3.3 基于PNFS的商用系统介绍第23-24页
    1.4 本文研究的主要内容和论文结构第24-26页
第二章 PNFS关键技术研究与系统结构设计第26-42页
    2.1 并行文件系统设计中的关键技术第26-32页
        2.1.1 文件系统的组成和结构第26-27页
        2.1.2 元数据服务器第27-28页
        2.1.3 文件的组织和分布第28-29页
        2.1.4 I/O操作模式第29-31页
        2.1.5 Cache和预取第31-32页
    2.2 PNFS系统结构设计第32-41页
        2.2.1 设计与实现平台第32页
        2.2.2 PNFS的设计思想第32-33页
        2.2.3 PNFS的实现目标第33-34页
        2.2.4 PNFS的系统组成第34-36页
        2.2.5 数据的组织管理与分布第36-38页
        2.2.6 操作原语的扩展第38-41页
    2.3 本章小结第41-42页
第三章 PNFS服务器的设计与实现第42-50页
    3.1 PNFS存储服务器的组织管理第42-43页
    3.2 PNFS元数据服务器的设计与实现第43-49页
        3.2.1 存储设备管理模块第44-46页
        3.2.2 元数据管理模块第46-49页
    3.3 本章小结第49-50页
第四章 PNFS客户端的设计与实现第50-69页
    4.1 PNFS客户端的地位与作用第50-51页
    4.2 PNFS客户端的组成结构第51-58页
        4.2.1 NFS协议扩展模块第51-53页
        4.2.2 Layout注册管理模块第53-55页
        4.2.3 Layout驱动程序模块第55-58页
    4.3 PNFS客户端主体实现第58-65页
        4.3.1 关键函数第58-64页
        4.3.2 关键数据结构第64-65页
    4.4 PNFS客户端mount过程实现第65-66页
    4.5 PNFS客户端读写流程第66-67页
    4.6 本章小结第67-69页
第五章 性能测试与分析第69-77页
    5.1 测试平台第69页
    5.2 性能测试第69-76页
        5.2.1 磁盘性能测试第69-70页
        5.2.2 NFSv3 读/写性能测试第70-71页
        5.2.3 PNFS读/写性能测试第71-73页
        5.2.4 性能比较与分析第73-75页
        5.2.5 性能测试小结第75-76页
    5.3 本章小结第76-77页
第六章 结束语第77-79页
    6.1 工作总结第77页
    6.2 下一步工作第77-79页
致谢第79-80页
参考文献第80-84页
作者在学期间取得的学术成果第84页
论文购买
论文编号ABS1760919,这篇论文共84页
会员购买按0.30元/页下载,共需支付25.2
不是会员,注册会员
会员更优惠充值送钱
直接购买按0.5元/页下载,共需要支付42
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文

点击收藏 | 在线购卡 | 站内搜索 | 网站地图
版权所有 艾博士论文 Copyright(C) All Rights Reserved
版权申明:本文摘要目录由会员***投稿,艾博士论文编辑,如作者需要删除论文目录请通过QQ告知我们,承诺24小时内删除。
联系方式: QQ:277865656