本篇文章目录导航：
【题目】探究云存储系统的云数据放置优化方法??
【第一章】面向云存储系统的云数据放置方法研究绪论
【第二章】云存储及其相关技术
【第三章】云数据多目标存储模型
【第四章】基于多目标遗传算法的云数据放置策略
【第五章】云数据放置实验与分析
【第六章】云数据放置优化方法的结论与参考文献
第一章 绪论
云存储技术[1]是一种为了解决数据的存储和管理问题的云计算系统，是实现未来互联网产业创新的关键技术，是大数据时代数据存储的首要选择。本章从云存储角度出发，阐述了本课题的研究背景和研究目的，通过查阅文献来阐述了云存储的国内外发展现状，着重分析了云存储安全的发展进程，最后介绍了本文的研究目的和研究内容以及章节结构。
1.1研究背景
当今的社会是一个数字化与信息化的社会。随着互联网、物联网等技术的高速发展，使着大量的数据充斥着每一个角落。物联网作为目前最火热的技术之一，仍然面临着严重的发展瓶颈。诸如无人驾驶、智能交通、虚拟现实对于网络质量的要求相当苛刻，目前还处于相对不成熟的时期。而未来随着5G网络的商用普及之后，5G网络所具有高速度、低功耗、低时延、多互联的特点将支撑物联网进入井喷式的发展[2].届时，将会有更加庞大的数据量需要进行挖掘、分析以及存储。云存储技术是目前解决海量存储问题中相对成熟的解决方案。
早在2012年Viktor Mayer-Sch?nberger就曾在其着作《大数据时代》一书中预见性地指出由于海量数据所引发的信息风暴已经影响改变我们的生活、工作甚至是思维方式[3].国际数据公司IDC（International Data Corporation）在2011年一项研究中指出未来全世界的数据每两年增加一倍，2020年世界范围内产生和复制的的数据的总量将达到惊人的44泽字节（ZB），为当前数据总量的50倍[4].而在这些数据中，云计算平台将要处理超过34%的数据，在云存储系统中以集中托管方式管理的将超过14%.这意味着，数字世界中的数据已经有非常大的比例以云存储的方式存储，或是将会以这一方式存储，剩余的大部分数据也会在过程中经由云存储系统。
在大数据时代，大数据的特点被归纳为4个“V”（Volume、Variety、Velocity、Value）,即体量大、类型多、速度高和价值密度低[5].伴随着数据量的增长、数据的价值密度在持续的降低。对于企业来说，显然不能允许IT预算随着数据量的增长而持续增加；相反，需要伴随着下降的数据价值密度来控制大数据的收集、存储、管理和分析成本[6].同时用户对于设备运行效率的要求持续增长，对于数据的交互模式也出现了不小的变化，由以往对独立节点的私密访问，到对多节点构成的集群架构的共享访问；从对数据的分开存放到集中存放，从对数据的分散管理到集中管理；并由此建立了跨地区的分布式存储模式[7].针对以上的各种改变，对以往的存储系统的结构模式、管理方法产生了很大的挑战。这是由于传统的存储方法在成本、可扩展性等方面都不能应对大数据时代快速增长需要[8].因此，将数据存放在云环境中是一个有效的用以解决这样难点的方式。为此，很多企业选择了具有更低组建成本的云存储系统。
云存储作为当今最成功的云计算应用之一，它将存储设备结合云环境而形成的可以随时随地通过网络进行存储和检索的新方案。用户能够在任何的时间以及地方，通过互联网连接到云上轻松的进行数据的存放与读取。云存储根据基础设施服务云计算的概念,基于传统的大型的、可伸缩的数据存储技术，集成了网络存储,虚拟化和文件系统，以大规模、高性能、高效率、低能耗、高可伸缩性、可靠性、可以为大规模定制的动态组合和组织服务为目标，提供高效廉价、安全、可靠、可伸缩、可定制的根据用户使用需求的云存储服务。云计算及其相关技术提供了相对低廉的成本用以获取大型计算能力和海量数据存储的能力。云计算由于其分布式架构的特性可以极大地支撑海量数据的存储和处理要求。这种廉价的硬件、廉价的软件以及廉价的维护等操作十分的经济及实用，实现了大型数据的搜集与分析的愿景。可以让小型企业像Amazon一样使用云计算来进行大数据的处理[9] .可以说，云存储系统是传统存储技术在大数据时代自然演进的结果，并且已经成为了数据存储方面的一个研究热门。
云存储技术发展迅速，其发展有着如下两点性能评价指标[10]:
（1）请求响应时间请求响应时间定义为一个请求被放入缓冲区到被处理完成之间的时间间隔。请求响应时间是用户最关注的评价指标之一，对于实际的云存储环境中，影响到响应效率的因素有很多。
其中包括云存储系统的存储模式，加密存储的响应时间无疑会更高，因为需要解密的过程。
同时请求响应时间还会受到带宽的影响，并且由于云存储采用的分布式存储结构，其响应时间同样会受到传输路径选取的影响。
（2）安全性能云存储由于其接入网络的特性，不可避免的会面临着网络攻击的风险，如何确保云数据的安全，是云存储服务商所面临的一个严峻的问题。云存储的安全性能作为一项重要指标，其优化的方式有很多种。目前采取的方式有端到端的安全架构、文件加密、用户身份安全认证、虚拟机安全隔离等技术。
如何保证云存储系统中的请求响应效率和安全性能，是本文所关注的核心问题。以下内容将结合国内外相关研究成果探寻出一种效率更高的解决方案。
1.2国内外研究现状
从全世界来观察云计算技术的发展，可以很明显的发现其市场占有率不断增高。各大信息技术产业强国都将云计算技术放在很高的战略地位，同时将其视为未来的核心技术产业来扶持。多个国家根据自己的国情以及信息技术发展情况制定了各自的云计算发展方向与策略，意图占领云计算的制高点[11].其中美国联邦政府于2011年发布联邦政府云战略（Federal CloudComputing Strategy），通过云计算优化政府的相关工作，增加了信息和服务的发布渠道，能够极大地帮助政府机构快速提供高度可靠的创新服务[12].欧盟2007年制定的第七云计算框架计划，通过了政府对云计算的扶持政策，为更多的云计算研究解决了资金上的问题[13] .其中英国率先制定了“G-Cloud”战略，在本土设立了G-Cloud（私人政府云计算基础设施），此举让英国的云计算行业在欧盟中处于领先的位置。在日本，政府从战略角度推出“有效采用IT发展云计算新产业”来积极推进云计算在社会各个领域的实际应用，谋求创造出新的服务和产业。中国国家信息中心2012年举办了“云时代终端安全技术与法规高峰论坛”.在论坛中表示，国家政务外网已承载22个中央政务部门全国性业务系统，1200多个省级业务系统，接入终端超过50万台。以后云存储即将代替传统存储模式成为云计算时代最重要的应用模式，尤其是在政府政务方面能够发挥出不可替代的作用。在十二五期间，重点是加强对云存储的统一安全防护和集中管控。
目前，在全世界范围的相关企业对于云计算技术的研究愈演愈烈。其中，走在前列的云计算相关企业包括亚马逊、微软、谷歌、IBM等。中国的阿里巴巴、腾讯、百度、华为等企业在云计算领域也占据着重要的地位。并且在全世界范围内涌现出很多的新型云计算公司，例如VMware、七牛云等。
云存储作为云计算技术中最被广泛使用以及用户最多的应用之一，发展的尤其迅速。其中提供个人存储服务发展最快、种类最多，国外有Dropbox、Google Drive、Microsoft One Drive、i Cloud Drive,国内有百度网盘、腾讯微云、淘宝淘盘以及网易邮箱网盘等。提供企业云服务的包括Amazon AWS、Microsoft Azure、Google GCE、阿里云、七牛云等。
云存储虽然有其自身的独特优势，比如可以随时随地存储、自动化智能化管理以及通过虚拟化技术解决存储空间的浪费、降低运营成本等等。但其推广过程却十分缓慢。从Twinstrata机构2012年针对于云存储推广的最新调查报告中可以看出，仅20%的用户敢于将自己的敏感信息存储在在云上，更多的是存放一些安全需求相对低的文件。报告中还指出，大约有50%的用户会采用云存储服务来进行数据备份、归档存储和数据找回等操作。
2011年3月谷歌的邮箱服务出现了极其严重的用户数据泄露事件，大约有15万Gmail用户所有的邮件和聊天记录消失，部分用户账户被重置。
2014年i Cloud发生的黑客窃取欧美明星私密文件等等各种云存储安全事件一度引起了云存储用户的恐慌。根据以上的内容可以看出，云存储的安全隐患妨碍了全球范围内云存储应用的推广和发展。因此如何有效的解决云存储的安全成为了目前最需要解决的一大问题[14].目前应对于云存储安全防护手段主要是从防护网络层攻击以及云数据安全处理技术[15].
其中云存储系统面临的网络层的攻击包括：口令入侵、节点攻击、网络监听、安全漏洞攻击、DDo S（分布式拒绝服务）攻击等等[16].网络安全研究已经有悠久的历史和相对成熟的技术，目前应对网络攻击的防护策略有：防火墙技术、代理服务器、访问控制、入侵检测技术等[17].目前国内市场有几款成熟的网络入侵防御系统，华为的NIP5000网络智能防护系统、绿盟NIPS网络入侵防护系统、网神Sec IPS入侵防御系统、捷普IPS入侵防御系统、东软Net Eye入侵防御系统、启明星辰NGIP58000-A入侵防御系统。
云存储系统对于云数据的安全处理主要是进行存储加密[18-19].数据加密技术是对数据进行加密处理，使得该加密文件即使被盗取之后仍然无法获得有效信息。目前云存储服务商中Amazon S3和Google Cloud Platform提供了服务器端加密服务[20].在学术领域云存储加密技术也被广泛研究，Goh等人提出了一种数据加密策略，用户使用私钥加密数据密钥，然后将加密后的数据密钥上传到服务器端，用户访问服务器并用自己的私钥解密获取数据密钥，这种策略安全性高，但是服务器需要维护大量密钥信息[21].
Damiani研究了一种基于层次访问的控制方法HAC[22],该方法可以大大地减少服务器所要维护的密钥数，而是同过用户的个人密钥通过公开的索引表计算出加密文件的私钥，但是服务器仍然需要存储公开的索引表。
Vimercati S D C D等人提出了一种代理重加密技术，用户根据自身信息生成代理重加密密钥，然后将该密钥传输到服务器端，服务器使用密钥对已经加密的文件进行二次的加密，生成需要二次解密的加密文件[23].
同时云存储作为一种网络服务，响应性能也是其重要的指标之一。云存储系统要求用户进行数据检索时，能够保证高速的响应能力，即从用户发起访问请求到获取数据所经过的时间最小化。目前的云存储系统不仅会受到自身的系统结构影响，还会受到请求缓冲区容量以及带宽容量等限制对与大文件或者多请求的检索效率偏低[24].袁野等人在其云环境下的虚拟机放置策略中，采取了WFPSO算法优化节点部署策略[25],解决了复杂网络拓扑中的网络通信时延的问题。
Boru D云系统数据中心复制算法的节能优化研究中，着力解决了云系统能耗问题，从而降低了I/O带宽负荷以及计算中的延迟[26].而在Su M等人的研究中，提出了一种北斗七星模型[27]
,将数据放置问题定义为一个最优化的非线性规划模型，在这一模型中，以量化的因素建立了不等式约束的目标函数，测量抽象空间的欧几里得距离从而得到最优化的检索结果。
1.3研究目的
云存储作为大数据时代最炙手可热的数据存储方式，被各大互联网厂商广泛研究与应用。
但同样作为网络应用之一，云存储不可避免的面临着严重的网络威胁。由于云存储作为个人或者企业的存储选择，其中包含着大量的敏感信息，所以云存储需要足够的安全性能来应对恶意的网络环境。
目前针对于云存储的安全研究绝大多数都在于云数据的加密技术。通过客户端或者服务端的各种加密技术能够保证数据一定的安全性。但是由于加密技术需要加密以及解密的时间开销无法避免的会影响云存储系统的存储以及检索效率，并且越大的文件时间开销就越大。
为了能够实现云存储系统中数据安全和检索效率的有效平衡，本文研究出了一种多目标优化的云存储模型。该模型提出了一种新的云数据存储策略，能够有效的解决数据安全和检索效率问题，为云存储技术的发展提供了一种思路。
1.4主要内容
本文的主要内容如下：
（1）通过查阅大量的相关文献和网络资料，了解云存储的设计思想、系统架构等一系列知识，学习云存储系统中目前对于云数据安全和检索效率的研究情况。分析其中的主要成果和实际不足。
（2）了解分布式文件系统的相关概念，研究目前主流的HDFS分布式文件系统，包括HDFS中对于数据存储和读取的实际步骤，从中发现可以进行优化的环节和细节，为本文的研究提供理论上的根据。基于分布式存储方式提出了多目标优化的云数据存储系统，主要解决云存储系统中的云数据放置问题，即云存储系统的安全要求与检索优化问题。
（3）研究启发式算法中的遗传算法，对遗传算法的步骤结合云存储系统的实际情况进行优化，使其适用于解决云数据放置问题。通过实际的实现细节保证遗传算法的收敛性以及全局最优性。
（4）对于本文的云数据放置策略，设计仿真实验，通过对比其他的放置策略以验证该策略的实际性能。
1.5论文结构
本文共有六个章节，具体的章节内容如下：
第一章绪论，叙述了本文的研究背景和全世界范围内的研究现状，同时表述了本文的研究目的、研究内容和章节结构。
第二章云存储及其相关技术，首先讨论了云计算的相关概念和其基本的虚拟化技术。其次研究了云存储技术的相关内容，包括主要概念、相关分类、系统架构以及目前国内外的研究成果。最后详细研究了分布式文件系统，并对Hadoop分布式文件系统HDFS进行了深入的研究。首先，研究了HDFS的存储模型和控制逻辑，然后通过研究HDFS中对于文件的读取操作和存储操作深入了解了分布式存储系统的运行步骤，并且熟悉了其中的相关运行机制和保护策略。
第三章云数据多目标存储模型，通过前面章节对于云存储系统的研究，并且研究了多目标优化问题，在此基础上提出了一种存储模型。该模型以云存储系统的安全水平和检索效率为目标，实现了一种多目标优化的数据存储模式。
第四章基于多目标遗传算法的云数据放置策略，通过对于遗传算法的深入研究，结合第三章的云数据存储模型，提出了该模型解决算法。结合实际针对于遗传算法的每个步骤给出了相应的解决方法并且对部分内容进行了优化。
第五章实验与分析，该节采用了JAVA语言编写遗传算法程序进行仿真。同时采取两种数据放置策略与本文提出的策略进行对比，验证了本文算法的优越性。