本篇文章目录导航:
【题目】探究云存储系统的云数据放置优化方法??
【第一章】面向云存储系统的云数据放置方法研究绪论
【第二章】云存储及其相关技术
【第三章】云数据多目标存储模型
【第四章】基于多目标遗传算法的云数据放置策略
【第五章】云数据放置实验与分析
【第六章】云数据放置优化方法的结论与参考文献
第六章总结与展望
本文针对云存储系统中的云数据放置为出发点,提出了一个多目标优化的问题。该问题定义云数据的安全性能和检索效率作为两个目标函数,保证云存储系统在保证数据安全的前提下,优化检索效率。本文围绕这一中心思想进行的主要工作总结如下:
首先,本文通过问题的定义对于云存储相关技术进行了深入性的研究,包括云存储的存储架构,云存储的核心技术之一分布式文件系统。对于分布式文件系统本文进行了深入的研究,选出Hadoop分布式文件系统作为案例,进行系统性的学习。包括HDFS的实际组成架构、控制模式,并且在HDFS对于数据的存取两个操作过程进行了深入的了解。
其次,在云存储系统的分布式存储模式上,对其进行了抽象,建立了一个解决云数据放置问题的云存储系统模型,并且提出了约束多目标优化模型。这一模型直观的解决了云存储系统中两个相关性问题,即安全需求和检索效率。
接着,为了解决上述的多目标存储模型,我们采用了遗传算法。遗传算法作为解决多目标优化模型的启发式算法,具有灵活多变、易扩展、收敛性强、不易陷入局部最优解等特点。
文章中我们结合实际问题,在遗传算法的各个步骤,包括染色体编码、交叉算子、变异算子、选择算子、适应度函数设定,都采用了贴近问题的解决方式。
最终,我们根据算法进行了仿真实验来验证该云数据放置策略的有效性。在实验中提出了三个衡量效率的参数,包括检索时间、节点利用率以及安全水平。通过对比随机选取节点和最远节点优先这两种策略,来体现本算法的优越性。
本文通过对比以往研究成果得出解决方案,分析了以往研究的不足。同样的本文也存在不足指出需要进行更深入的研究,针对于下一步的工作有以下几点:
(1)本文提出的存储模型对比实际情况仍然存在差异。其中包括没有考虑算法的计算成本。然后在实际网络拓扑中有更多的约束参数需要研究,其中包括时延、节点成本、链路成本等等。同时对于存储模型的负载均衡需要格外的重视,负载均衡是目前数据中心被广泛考虑的一大要素。负载均衡不仅可以均衡节点的存储压力和链路的运输压力,同时能够容纳更多的数据存储操作,这是由于如果部分节点达到满载,则可用的存储节点变少,导致云数据放置的可行解变少。
(2)本文所采用的遗传算法有了很多年的历史,而对其研究仍然很多,这是由于算法本身灵活性高,存在很多可以优化的空间。例如染色体的编码方式、种群的选择、交叉算子和遗传算子的定义、适应度函数的选取都存在着很多策略。对于不同的问题可以选择不同的策略,对于每种策略都有其优化的空间。同时在对于大型的网络拓扑结构,遗传算法可以采用并行运算的方式提高运行效率。
(3)对于实验部分,由于目前对于基于多目标优化云数据放置策略的研究较少,实验所对比的算法并不具备很高的优化作用,所以无法完整的体现本文算法的优越性。未来对这一方面需要进行更多的研究,来促进云存储系统的发展。
参考文献
[1]MartiniB,ChooKKR.Cloudstorageforensics:ownCloudasacasestudy[J].DigitalInvestigation,2013,10(4):287-299.
[2]SchulzP,MattheM,KlessigH,etal.LatencyCriticalIoTApplicationsin5G:PerspectiveontheDesignofRadioInterfaceandNetworkArchitecture[J].IEEECommunicationsMagazine,2017,55(2):70-78.
[3]IwataS.BigDataEra[J].JournalofInformationProcessing&Management,2012,55(8):543-551.
[4]SowmyaR,SuneethaKR.DataMiningwithBigData[C].InternationalConferenceonIntelligentSystemsandControl.IEEE,2017:246-250.
[5]涂新莉,刘波,林伟伟.大数据研究综述[J].计算机应用研究,2014,31(6):1612-1616.
[6]王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.
[7]孔陶茹.云存储应用的现状、挑战、展望、创新及探讨[J].物联网技术,2014,1(2):69-71.
[8]KamaraS,LauterK.Cryptographiccloudstorage[C].InternationalConferenceonFinancialCryptograpyandDataSecurity,2010:136-149.
[9]王雪娇,陈俊松,夏湘玲,等.私有云存储在企业的应用[J].中国管理信息化,2014,1(4):48-49.
[10]YangK,JiaX,RenK,etal.DAC-MACS:EffectiveDataAccessControlforMultiauthorityCloudStorageSystems[J].IEEETransactionsonInformationForensics&Security,2013,8(11):1790-1801.
[11]陈涵,孙克强,丁敬雯.云计算产业的形成及发展对策[J].纺织报告,2012,1(3):5-9.
[12]MethenyM.Chapter1-IntroductiontotheFederalCloudComputingStrategy[J].FederalCloudComputing,2013,70(3):1-30.
[13]陈强,余文璨,李建昌.欧盟第七框架计划的开放性分析及启示[J].科学管理研究,2012,30(4):115-119.
[14]石强,赵鹏远.云存储安全关键技术分析[J].河北省科学院学报,2011,28(3):66-69.
[15]ChuCK,ZhuWT,HanJ,etal.SecurityConcernsinPopularCloudStorageServices[J].IEEEPervasiveComputing,2013,12(4):50-57.
[16]MusaT.Complexnetworksecurityanalysisbasedonattackgraph[J].Neuropsychologia,2015,12(1):131-139.
[17]AcemogluD,MalekianA,OzdaglarA.Networksecurityandcontagion[J].JournalofEconomicTheory,2016,42(3):38-38.
[18]BiryukovA,CannièreCD.DataEncryptionStandard(DES)[J].EncyclopediaofCryptography&Security,2011,28(2):295-301.
[19]ChangXZ.NetworkDataEncryptionStrategyforCloudComputing[C].InternationalConferenceonMeasuringTechnology&MechatronicsAutomation,2015:693-697.
[20]KangS,VeeravalliB,AungKMM.ESPRESSO:AnEncryptionasaServiceforCloudStorageSystems[C].IFIPInternationalConferenceonAutonomousInfrastructure,ManagementandSecurity,2014:15-28.
[21]GeronE,WoolA.CRUST:CryptographicRemoteUntrustedStoragewithoutPublicKeys[J].InternationalJournalofInformationSecurity,2009,8(5):357-377.
[22]DamianiE,VimercatiSDCD,ForestiS,etal.Keymanagementformulti-userencrypteddatabases[C].
ACMWorkshoponStorageSecurityandSurvivability,2005:74-83.
[23]VimercatiSDCD,ForestiS,JajodiaS,etal.Over-encryption:managementofaccesscontrolevolutiononoutsourceddata[C].InternationalConferenceonVeryLargeDataBases,2007:123-134.
[24]余思,桂小林,黄汝维,等.一种提高云存储中小文件存储效率的方案[J].西安交通大学学报,2011,45(6):59-63.
[25]何利文,袁野,王延松,等.基于WFPSO算法的云虚拟机放置策略[J].计算机应用研究,2017,34(2):591-594.
[26]BoruD,KliazovichD,GranelliF,etal.Energy-efficientdatareplicationincloudcomputingdatacenters[J].
ClusterComputing,2015,18(1):385-402.
[27]SuM,ZhangL,WuY,etal.SystematicDataPlacementOptimizationinMulti-CloudStorageforComplexRequirements[J].IEEETransactionsonComputers,2016,65(6):1-1.
[28]SchallerRR.Moore'slaw:past,presentandfuture[J].IEEEspectrum,1997,34(6):52-59.
[29]JulaA,SundararajanE,OthmanZ.Cloudcomputingservicecomposition:Asystematicliteraturereview[J].
ExpertSystemswithApplications,2014,41(8):3809-3824.
[30]MellP,GranceT.TheNISTdefinitionofcloudcomputing[J].CommunicationsoftheAcm,2011,53(6):50-50.
[31]DeS.Uncouplingofmobilecloudcomputingarchitectureusingtuplespace:modelingandreasoning[C].
ACMIndiaComputingConvention,2013:4-4.
[32]沈昌祥.云计算安全[J].信息安全与通信保密,2010,1(12):12-12.
[33]刘莉,杨德华.中小企业云计算服务部署模型选择[J].电脑与信息技术,2016,24(1):25-30.
[34]涂兰敬.公有云或私有云,企业CIO如何做出判断?[J].网络与信息,2012,26(7):14-15.
[35]HashemIAT,YaqoobI,AnuarNB,etal.Theriseof“bigdata”oncloudcomputing:Reviewandopenresearchissues[J].InformationSystems,2015,47(C):98-115.
[36]张敏,陈云海.虚拟化技术在新一代云计算数据中心的应用研究[J].广东通信技术,2009,29(5):35-39.
[37]CampbellkellyM.CelebrationofDavidWheeler(1927-2004)[J].ComputerJournal,2005,48(6):646-648.
[38]KitazumeH,KoyamaT,KishiT,etal.NetworkVirtualizationTechnologytoSupportCloudServices[J].IeiceTransactionsonCommunications,2012,95(8):2530-2537.
[39]SemnanianAA,PhamJ,EnglertB,etal.VirtualizationTechnologyanditsImpactonComputerHardwareArchitecture[C].EighthInternationalConferenceonInformationTechnology:NewGenerations,2011:719-724.
[40]张耀祥.云计算和虚拟化技术[J].计算机安全,2011,1(5):80-82.
[41]ZhanY,SunY.CloudStorageManagementTechnology[C].SecondInternationalConferenceonInformationandComputingScience,2009:309-311.
[42]BermudezI,TraversoS,MelliaM,etal.Exploringthecloudfrompassivemeasurements:TheAmazonAWScase[C].2013ProceedingsIEEE,2013:230-234.
[43]王桦,黄绍建,周可.云存储技术与标准化[J].信息技术与标准化,2013,1(5):38-40.
[44]MyintJ,NaingTT.AdataplacementalgorithmwithbinaryweightedtreeonPCcluster-basedcloudstoragesystem[C].InternationalConferenceonCloudandServiceComputing,2011:315-320.
[45]许春聪,黄小猛,吴诺,等.分布式文件系统存储介质评测与分析[J].计算机学报,2010,33(10):1873-1880.
[46]KimJ,KumarTKA,GeorgeKM,etal.PerformanceevaluationandtuningforMapReducecomputinginHadoopdistributedfilesystem[C].InternationalConferenceonIndustrialInformatics,2015:62-68.
[47]许春玲,张广泉.分布式文件系统HadoopHDFS与传统文件系统LinuxFS的比较与分析[J].苏州大学学报(工科版),2010,30(4):5-9.
[48]KarunAK,ChitharanjanK.Areviewonhadoop-HDFSinfrastructureextensions[C].Information&CommunicationTechnologies,2013:132-137.
[49]许承启,何利文,王延松,等.基于流式计算的DDoS实时检测方法[J].计算机应用研究,2017,34(3):892-896.
[50]吕从东,韩臻,马威.云存储服务端数据存储加密机制的设计和实现[J].信息网络安全,2014,1(6):1-5.
[51]LiuJK,LiangK,SusiloW,etal.Two-FactorDataSecurityProtectionMechanismforCloudStorageSystem[J].IEEETransactionsonComputers,2016,65(6):1992-2004.
[52]余琦,凌捷.基于HDFS的云存储安全技术研究[J].计算机工程与设计,2013,34(8):2700-2705.
[53]薛矛,薛巍,舒继武,等.一种云存储环境下的安全存储系统[J].计算机学报,2015,38(5):987-998.
[54]黄永峰,张久岭,李星.云存储应用中的加密存储及其检索技术[J].中兴通讯技术,2010,16(4):33-35.
[55]TuM,LiP,MaQ,etal.OntheOptimalPlacementofSecureDataObjectsoverInternet[C].ParallelandDistributedProcessingSymposium,2005:14-14.
[56]KangS,VeeravalliB,AungKMM.ASecurity-AwareDataPlacementMechanismforBigDataCloudStorageSystems[C].InternationalConferenceonBigDataSecurityonCloud,2016:327-332.
[57]DutaL,FilipFG,HenrioudJM.Amethodfordealingwithmulti-objectiveoptimizationproblemofdisassemblyprocesses[C].IEEEInternationalSymposiumonAssemblyandTaskPlanning,2003:163-168.
[58]AkaikeH.Informationtheoryandanextensionofthemaximumlikelihoodprinciple[M].SpringerNewYork:SelectedPapersofHirotuguAkaike,1973:610-624.
[59]谢明文.关于协方差、相关系数与相关性的关系[J].数理统计与管理,2004,23(3):33-36.
[60]GargH.AhybridPSO-GAalgorithmforconstrainedoptimizationproblems[J].AppliedMathematics&Computation,2016,274(11):292-305.
[61]YuQ,JangJH,JangJL,etal.AStudyontheHeuristicAlgorithmDevelopmentforLoadBalanceRatioIncreaseofWorkersinWarehouse[J].2017,19(1):203-210.
[62]CardelliniV,ColajanniM,YuPS.DynamicLoadBalancingonWeb-ServerSystems[J].InternetComputingIEEE,1999,3(3):28-39.
[63]HollandJH.Adaptationinnaturalandartificialsystems[J].QuarterlyReviewofBiology,1992,6(2):126-137.
[64]ZiegelE.GeneticAlgorithmsandEngineeringOptimization[J].Technometrics,2002,44(1):95-95.
[65]KnowlesJD,WatsonRA,CorneDW.ReducingLocalOptimainSingle-ObjectiveProblemsbyMulti-objectivization[C].InternationalConferenceonEvolutionaryMulti-CriterionOptimization,2001:269-283.
[66]LinL,GenM.Priority-BasedGeneticAlgorithmforShortestPathRoutingProbleminOSPF[M].SpringerBerlinHeidelberg:IntelligentandEvolutionarySystems,2009:91-103.
[67]张晶,翟鹏程,张本源.惩罚函数法在遗传算法处理约束问题中的应用[J].武汉理工大学学报,2002,24(2):56-59.
[68]余元辉.基于均方差值调节的多目标权重系数GA算法[J].沈阳化工大学学报,2008,22(4):355-359.
[69]YuzhenGe.GeneticAlgorithmsandEngineeringDesign(BookReview)[J].InternationalJournalofHuman-ComputerInteraction,1997,9(4):457-458.
[70]KumarR.Blendingroulettewheelselection&rankselectioningeneticalgorithms[J].InternationalJournalofMachineLearningandComputing,2012,2(4):365.
[71]SondurS,SalunkheS.OptimizationofPIDParametersUsingGeneticAlgorithm[J].InternationalJournalofGlobalTechnologyInitiatives,2012,1(1):C61-C66.