hyperion数据处理_hypergraph数据处理

hyperion数据处理_hypergraph数据处理 _hypergraph数据处理

       很高兴有机会和大家一起谈论hyperion数据处理的话题。这个问题集合包含了一些常见和深入的问题，我将详细回答每一个问题，并分享我的见解和观点。

1.张显峰做什么的

2.hyperion?planning是什么？

3.数字经济时代，高性能数据分析存储迎来新机遇

4.反射率反演

张显峰做什么的

       张显峰

       北京大学遥感所教授，主要从事生态遥感、高光谱/多光谱遥感数据处理与定量反演、陆面数据同化等研究。

       中文名：张显峰

       国籍：中国

       民族：汉族

       出生地：四川

       出生日期：1967

       职业：教师

       毕业院校：北京师范大学

       主要成就：石河子大学“绿洲学者”计划入选特聘讲座教授

       中国科学院科技进步二等奖

       加拿大西安大略大学校长奖学金

       代表作品：生态环境参数遥感协同反演与同化模拟

       职称：副教授

       2000至2005年在加拿大西安大略大学（TheUniversityofWesternOntario）攻读并获得博士学位，1993年于北京大学获得理学硕士学位，1990年于北京师范大学本科毕业并获学士学位。1993年至2000年曾在中国科学院遥感应用研究所工作。曾获中国科学院科技进步二等奖，获加拿大西安大略大学“大学特别奖学金”与校长奖学金、2008年获北京大学正大奖教金等奖励。从事生态与环境遥感、灾害应急遥感监测、高光谱/多光谱遥感数据获取与处理、数据同化模拟、地理信息可视化等方面的研究。“十一五”期间主持并完成国家科技支撑计划项目和国家863计划项目各1项，国家自然科学基金项目1项，省部级项目5项。“十二五”参与国家科技支撑计划项目《新疆及周边区域遥感动态监测与应急管理系统》、主持新疆兵团援疆项目《基于小型无人机的额河流域自然灾害防控关键技术研发》等。“十一五”以前主持、参与并完成国家、省部级科研项目共计8项。近五年来，在多平台多遥感传感器数据协同反演生态与环境参数、重大自然灾害应急遥感监测、精细太阳能资源潜力评价、低空遥感数据获取与应用以及多元地理信息可视化等领域进行了创新性的研究工作，建立了基于多源遥感数据的干旱区生态与环境变量的遥感协同反演方法，研发了基于多源卫星遥感数据的建筑物尺度太阳辐射潜能评价模型与系统，干旱区敏感生态环境参数遥感反演模型与系统，新疆重大自然灾害应急遥感监测与灾情评估算法与系统，基于icon的多元地理变量可视化分析方法与系统等。研究成果发表在IEEETransactionGeoscienceandRemoteSensing,ISPRSJournalofPhotogrammetryandRemoteSensing,IEEEJournalofSelectedTopicsinAppliedEarthObservationsandRemoteSensing,InternationalJournalofAppliedEarthObservationandGeoinformation、中国科学:信息科学(英文版)、太阳能学报、北京大学学报等国内外知名学术刊物。累计已发表学术论文80余篇，主编英文论文集1部（SPIE论文集，SecondInternationalConferenceonEarthObservationforGlobalChanges，卷号：7471），专著2部：《区域可持续发展决策支持系统研究》、《生态环境参数遥感协同反演与同化模拟》。申请发明专利3项已获得授权1项，软件著作登记7项。现任InternationalGeoinformaticsResearchandDevelopmentJournal(IGRDJ)、InternationalJournalofAgricultureBiology(IJAB)国际刊物编委，ISDE、IJAB、ISPRS、TGRS、JSATR、北京大学学报、武汉大学学报、地球信息科学学报等国内外刊物常年审稿人。

       张显峰，男，1967年生，博士，现为北京大学遥感与地理信息系统研究所副教授、副所长。现为国际摄影测量与遥感协会Gi4DM学术委员会委员、国际制图学会CMSI会员、兵团空间信息工程技术研究中心主任（兼）、国家遥感中心新疆兵团分部副主任（兼）、加拿大滑铁卢大学地理与环境管理学院客座教授。

       专业及研究领域：摄影测量与遥感，主要从事生态遥感、高光谱/多光谱遥感数据处理与定量反演、陆面数据同化等研究。

       教育经历

       1986.09--1993.07学士（地理学）北京师范大学地理系

       1990.09--1993.07硕士（自然地理学）北京大学城市与环境学系

       1997.03--2000.07博士（地理信息系统）中国科学院遥感应用研究所

       2001.08--2005.10博士（遥感信息科学）加拿大西安大略大学地理系

       工作经历

       1993.07--1999.12中国科学院遥感应用研究所，助理研究员

       2000.01--2000.08中国科学院遥感应用研究所，副研究员

       2001.09--2005.04加拿大西安大略大学地理系助教

       2006.06--2017.07北京大学地球与空间科学学院副教授

       2017.08--北京大学地球与空间科学学院教授

       学术成果

       2000年以来的同行评议期刊论文列表:

       1.RenXiang,SunMin*,ZhangXianfeng,LiuLei.ASimplifiedMethodforUAVMultispectralImagesMosaicking.REMOTESENSING,2017,9(9),962;doi:10.3390/rs9090962

       2.潘一凡,张显峰*，童庆禧，孙敏，罗伦.阳柯.公路路面质量遥感监测的研究进展.遥感学报，21(5):796-811，2017.5

       3.YifanPan,XianfengZhang*,JieTian,XuJin,LunLuo,KeYang;MappingasphaltpavementagingandconditionusingmultipleendmemberspectralmixtureanalysisinBeijing,China;JOURNALOFAPPLIEDREMOTESENSING,2017,11(1),016003-1-18.

       4.Tian,Shaohong,Zhang,Xianfeng*,Tian,Jie,Sun,Quan;RandomForestClassificationofWetlandLandcoversfromMulti-SensorDataintheAridRegionofXinjiang,China;REMOTESENSING;2016,8(11),954.

       5.ZhangXianfeng,LvYang,TianJie;AnIntegrativeApproachforSolarEnergyPotentialEstimationThrough3DModelingofBuildingsandTrees;CANADIANJOURNALOFREMOTESENSING;2015,41(7):126_134.

       6.ZhangXianfeng,ZhaoJiepeng,TianJie;ARobustCoinversionModelforSoilMoistureRetrievalfromMultisensorData.IEEETRANSACTIONSONGEOSCIENCEANDREMOTESENSING;2014,52(8):5230-5237.

       7.ZhangXianfeng,LiaoChunhua,LiJonathan;Fractionalvegetationcoverestimationinaridandsemi-aridenvironmentsusingHJ-1satellitehyperspectraldata;INTERNATIONALJOURNALOFAPPLIEDEARTHOBSERVATIONANDGEOINFORMATION;2013,21:506-512.

       8.ZhangXianFeng,LiaoChunHua,LiuYu;AnIconMap-basedexploratoryanalyticalapproachformultivariategeospatialdata;SCIENCECHINA-INFORMATIONSCIENCES;2013,56(1):012305(1-10).

       9.ZhangXianfeng,ZhaoJiepeng,SunQuan,WangXuyang,GuoYulong;SoilMoistureRetrievalfromAMSR-EDatainXinjiang(China):ModelandValidation;IEEEJOURNALOFSELECTEDTOPICSINAPPLIEDEARTHOBSERVATIONSANDREMOTESENSING;2011,4(1):117_127.

       10.ZhangXianfeng,MichaPazner;ComparisonofLithologicMappingwithASTER,HyperionandETMDatainthesoutheasternChocolateMountains,USA;PHOTOGRAMMETRICENGINEERINGANDREMOTESENSING;2007,73(5):555-561.

       11.ZhangXianfeng,MichaPazner,NormanDuke;LithologicandMineralInformationExtractionforGoldExplorationUsingASTERDataintheSouthChocolateMountains(California);ISPRJOURNALOFPHOTOGRAMMETRICENGINEERINGANDREMOTESENSING;2007,62(4):271-282.

       12.ZhaoJiePeng,Zhang,XianFeng*,BaoHuiYi;Monitoringlandsurfacesoilmoisture:co-inversionofvisible,infraredandpassivemicrowavesensingdata;JOURNALOFINFRAREDANDMILLIMETERWAVES;2012,31(2):137-142.(赵杰鹏,*张显峰,包慧漪，童庆禧.基于可见光红外与被动微波遥感的土壤水分协同反演.红外与毫米波,31（2）:137-142，2012.)

       13.HuangZhaoqiang,ZhangXianFeng*;LithologicalmappingofophiolitecompositioninZedan-Luobusha,YarlungZangbosuturezoneusingAdvancedSpaceborneThermalEmissionandReflectionRadiometer(ASTER)data;ACTAPETROLOGICASINICA2010,26(12):3589-3596.

       14.PangSu,LiTingxuan,ZhangXianfeng,WangYongdong,YuHaiying;Spatialvariabilityofcroplandleadanditsinfluencingfactors:AcasestudyinShuangliucounty,Sichuanprovince,China;GEODERMA;2011,162:223_230.

       15.ZhangXianfeng,LiuYu,LiJonathan,LvYang;Multi-remotesensingdataforimprovingestimationofgroundsolardirectnormalradiation;ACTAENERGIAESOLARISSINICA;2014,35(8):1473-1479.

       16.ZhangXianfeng,LvYang,LiuYu;3Dmodelingofurbanbuildingsandtreesanditsapplicationinbuilding-scalesolarenergypotentialmapping;JOURNALOFBASICSCIENCEANDENGINEERING;2014,22(3):415-425.

       17.ZhangXianfeng,ZhaoJiepeng;Systemforsoilmoistureretrievalanddataassimilationfromremotelysenseddatainaridregions;GEOMATICSANDINFORMATIONSCIENCEOFWUHANUNIVERSITY;2012,37(7):794-799.(张显峰、赵杰鹏等，干旱区土壤水分遥感反演与同化模拟系统研究，武汉大学学报（信息科学版），Vol.37,No.7,pp.794-799,2012.)

       18.ZhangXianfeng,SongSha,LiTingxuan;IconMapVisualizationTechniqueandItsApplicationtotheAnalysisofSoilNutrients;GEOMATICSANDINFORMATIONSCIENCEOFWUHANUNIVERSITY;2009,34(9):1025-1029.(张显峰、宋莎、李廷轩.基于IconMap技术的多变量可视化及其在土壤养分研究中的应用.武汉大学学报（信息科学版）,34(9):1025-1029,2009.)

       19.LiuYu,ZhangXianfeng*,LvYang;SolarenergypotentialmappingandassessmentinXinjiang(China)basedontheFYsatellitedata;ACTAENERGIAESOLARISSINICA;2014,35(7):1295-1303.

       20.ZhaoJiepeng,ZhangXianfeng*,BaoHuiYi;SoilMoistureRetrievalfromRemoteSensingDatainAridAreasUsingaMultipleModelsStrategy;ADVANCESININTELLIGENTANDSOFTCOMPUTING;2011,105:635-643.

       21.JiangMiao,ZhangXianfeng*,SunQuan;VegetationCoverageRetrievalScaleEffectAnalysisUsingMulti-SensorData;GEOMATICSANDINFORMATIONSCIENCEOFWUHANUNIVERSITY;2011,36(3):311-15.(江淼，张显峰，孙权，童庆禧.不同分辨率影像反演植被覆盖度的参数确定与尺度效应分析.武汉大学学报信息科学版，Vol.36,No.3,pp.311-315,2011.3.)

       22.ZhangXianfeng,PaznerMicha;IconImagemapTechniqueforMultivariateGeospatialDataVisualization:ApproachandSoftwareSystem;INTERNATIONALJOURNALOFCARTOGRAPHYANDGEOGRAPHICINFORMATIONSCIENCE;2004,31(1):29-41.

       23.ZhangXianfeng,RaoJunfeng,PanYifan;ProgressiveapproachforriskpredictionofrangelandlocusthazardinXinjiangbasedonremotelysenseddata;TRANSACTIONSOFTHECHINESESOCIETYOFAGRICULTURALENGINEERING;2015,31(11):202-208.(张显峰，饶俊峰，吕扬，潘一凡.基于遥感的新疆蝗虫灾害渐进式预测方法.农业工程学报，31（11）：202-208，2015.)

       24.金续，张显峰，罗伦,等;公路路面光谱特征分析与沥青路面老化遥感监测方法初探;地球信息科学学报;2017,17(5):672-681.

       25.饶俊峰,张显峰*;考虑多大气参数不确定性的地面太阳短波辐射估算误差数学期望.热带地理；2015,35(6)：852-859.

       26.饶俊峰,张显峰*，潘一凡;气溶胶光学厚度及_ngstr_m指数遥感反演的不确定性对紫外线指数计算的影响;北京大学学报（自然科学版）;2016,52(2)：210-218.

       27.潘一凡，张显峰*，于泓峰,等;联合快舟一号影像纹理信息的城市土地覆盖分类;遥感技术与应用;2016,31(1):194-201.

       28.田绍鸿，张显峰*;采用随机森林法的天绘数据干旱区城市土地覆盖分类;国土资源遥感;2016,28(1)：43-49.

       29.张显峰，包慧漪，刘羽，郑旭荣;基于微波遥感数据的雪情参数反演方法;山地学报;2014,32(3):307-313..

       30.刘羽，*张显峰，JonathanLi，吕扬;基于多传感器数据的新疆太阳辐射估算及其时空分布特征分析;干旱区资源与环境;2015,29(3)：161-165.

       31.于泓峰,*张显峰;光学与微波遥感的新疆积雪覆盖变化分析;地球信息科学学报;2015,17(2):244-252.

       32.刘羽，张显峰，于泓峰;基于MEMLS模型的查找表雪深反演;高技术通讯;2014,24(9)：9-15.

       33.吕扬,*张显峰,刘羽;城市建筑物太阳能资源潜力评价系统设计与实现;计算机应用与软件;2014,31(12):70-74.

       34.吕扬,*张显峰,刘羽;建筑物尺度的太阳能资源潜力估算模型研究;北京大学学报(自然科学版);2013,49(4):650-656.

       35.包慧漪，*张显峰，刘羽;基于MODIS与AMSR-E数据的新疆雪情参数协同反演研究;自然灾害学报;2013,22(4):31-39.

       36.张显峰，赵杰鹏，刘羽;一种改进的土壤水分微波遥感反演模型;地理科学进展;2013,32(1):78-86.

       37.廖春华，*张显峰，刘羽;基于多端元光谱分解的干旱区植被覆盖度遥感反演;应用生态学报;2012,23(12):2012.12.

       38.赵杰鹏，*张显峰，廖春华，包慧漪;基于TVDI的大范围干旱区土壤水分遥感反演模型研究;遥感技术与应用;2011,26(2):742-750.

       39.张显峰，赵杰鹏，包慧漪，JonathanLi;基于AMSR-E与MODIS数据的新疆土壤水分协同反演与验证;土壤学报;2012,49(2):205-211.

       40.孙权，*张显峰;区域生态环境空间信息服务系统的设计与实现;计算机应用与软件;2012,29(1):191-195.

       41.孙权，*张显峰，江淼;干旱区生态环参数遥感反演与评价系统研究;北京大学学报（自然科学版）;2011,47(6):1073-80.

       42.王旭阳，*张显峰，赵杰鹏;基于MODIS和TRMM数据的准格尔南缘植被净初级生产力估算与分析;地理与地理信息科学;2011,27(2):21-25.

       43.廖春华，*张显峰，孙权，王旭阳，包慧漪;基于HJ-1高光谱数据的植被覆盖度估测方法研究;遥感信息;2011,(5):65-70.

       44.李颖，*张显峰;基于规则的MOIDS日间云检测与比较分析;北京大学学报(自然科学版)，2009,45(6):1003-1011.

       45.张显峰，MichaPazner;EO-1Hyperion数据的预处理、特征提取和岩性填图研究;中国图形图像学报（A）;2007,12(6):981-990.

       46.崔伟宏，*张显峰;时态地理信息系统研究;上海计量测试;2006,(4):6-12.

       47.张显峰，崔伟宏;集成GIS和细胞自动机(CA)模型建立地理时空动态过程模拟与预测的新方法;测绘学报;2001,30(2):148-155.

       48.张显峰,崔伟宏;基于GIS与空间统计分析的可持续发展度量方法研究——以缅甸MyingyanDistrict为例;遥感学报；2001，5(1):34-40.

       49.张显峰,崔伟宏;基于GIS和CA模型的时空建模方法研究;中国图象图形学报(A);2000，5(12):1012-1018.

       50.张显峰,崔伟宏;运用差分GPS动态获取高精度土地资源变化数据的新技术;地球科学进展;2000,15(5):609-61.

       51.张显峰,崔伟宏;差分GPS技术在地籍测量与制图中的应用;测绘通报;2000,15(6):4-6.

       52.张显峰，崔伟宏;运用RS、GIS和GPS动态获取和更新大比例尺土地利用数据;地理科学进展;1999,18(2):137-146.

       53.张显峰，崔伟宏;建立面向区域农业可持续发展的空间决策支持系统的方法探讨;遥感学报;1997,1(3):231-236.

       54.崔伟宏*张显峰;土地资源的动态监测和动态模拟研究;地球信息科学学报;2002,4(1):79-85.

       BooksandChapters

       张显峰，廖春华著.生态环境参数遥感协同反演与同化模拟，pp.337,北京：科学出版社，2014.

       Zhang,Xianfeng,Liao,Chunhua.FractionalvegetationcovermappingfromtheHJ-1smallsatellitehyperspectraldata.AdvancesinMappingfromRemoteSensorImagery:TechniquesandApplications,Chapter9,PP.203-224,USA:CRCPress,2013.

       Zhang,Xianfeng,Li,Joanthan,Guo,Liangliu,Yang,Xiaojun(eds).ProceedingsofSPIE-TheInternationalSocietyforOpticalEngineering:Introduction.ProceedingsofSPIE-TheInternationalSocietyforOpticalEngineering,v7471,pxxi-xxii,2010.

       崔伟宏，张显峰，等著.区域可持续发展决策支持系统研究，北京：宇航出版社，1996.

       获奖情况

       1992-1993北京大学研究生光华奖学金

       1996-1996中国科学院科技进步二等奖

       2001-2002加拿大西安大略大学校长奖学金（President’Scholarship）

       2001-2005加拿大西安大略大学SpecialUniversityScholarship奖学金

       2008-2008北京大学正大奖教金

       2009-2012北京大学优秀班主任二等奖

       2014-2014新疆生产建设兵团科学技术进步奖一等奖

       2012-2014新疆生产建设兵团科学技术合作奖

       2014-2016石河子大学“绿洲学者”计划入选特聘讲座教授

hyperion?planning是什么？

       全面预算管理作为管理会计的一部分，属于典型的财务分析业务。国外对应的业务是Planning，也称为企业计划。包含了战略计划、业务计划、财务预算等等。对应管理会计业务，国外称为EPM- Enterprise Performance Management –企业绩效管理。

       国内外软件厂商对全面预算管理软件的定位差别很大。国外厂商首先是把Planning定位为财务分析应用，是给FP&A服务的，因此软件的数据分析功能是核心。基于数据分析强大的多维数据仓库搭建Planning应用就很合乎逻辑。这也是为什么好的Planning软件厂商，都是数据仓库厂商的原因。如：Hyperion的Essbase，Cognos的TM1。

       而国内的厂商可能是对核算业务比较熟悉，把全面预算管理软件也定位为业务应用。因此基于交易型系统技术搭建全面预算，功能实现也只能停留在：“填表单，走流程”这个层面。估计他们也看到了Hyperion这些财务分析系统的多维分析功能，也在自己的全面预算系统里引入了“维度”概念，但由于底层不是基于多维数据仓库搭建，无法把所有业务数据属性抽象成维度，也就无法建立起各部门业务数据的关联性。最典型的特征就是需要设置大量的表间勾稽关系、汇总关系及取数公式。而这些在基于多维数据仓库的全面预算系统中都不需要设置。

       全面预算管理软件的设计理念，并不是仅仅解决预算编报的需求。它真正的价值在于把各业务部门的相对孤立的业务数据，在企业或集团层面整合起来，形成唯一版本的事实（Single Version of the Truth）,并建立之间的因果关系关联性。比如企业的战略目标跟销售计划的因果关系，销售计划与研发、生产、库存的关联关系，人力资源计划与财务计划的关联等。这种业务数据关联的建立，可让管理者随时找到导致执行偏差的动因，并随时调整。这比仅仅实现预算编报更有价值。而这是基于交易型平台的ERP无法实现的。

       很多企业目前用Excel编报预算而且用的很满意。从预算编报角度来看确实可以解决问题，但从财务分析角度，Excel并不能建立Single Version of the Truth和各部门业务数据的关联性。大家可以看看手上的Excel预算表单，一共有多少个版本，有多少次发错了版本，Excel表间的计算性能多么差。回到对全面预算系统的定位，可以确定，全面预算是财务分析业务，而不仅仅是预算和业务计划的编报业务。

       企业信息化的传统步骤是：先做业务应用，如财务软件，进销存，ERP之类，先解决部门级的运营需求。这一步信息化完成后，上财务分析系统，如全面预算管理，商业智能分析BI之类。这也是国外前20年的做法。这种做法的缺点是：在第一阶段的信息化规划时，由于没有考虑到第二步上分析系统的需求，经常导致购买了一堆系统，很多用不上，用上的数据也整合不到一起。

       随着企业管理理念的提升和管理软件技术的发展，目前较为合理的企业信息化方案，应该是根据企业的绩效管理方案，设计财务分析应用（全面预算，商业智能分析等）的需求和模型。进而根据分析系统数据的需求，选购能够提供前端业务数据的业务软件。由前端的业务系统采集业务运营数据，再由分析系统进行加工分析，然后向管理者提供分析过的决策数据。这样的信息化规划，使整个企业的信息化系统形成了一个复杂的业务数据加工生产线，源源不断地向管理者提供决策支持数据。这才是信息化能给企业带来的真正价值。

数字经济时代，高性能数据分析存储迎来新机遇

       Hyperion原指Hyperion公司，它的核心业务是做商业智能软件，目前已被Oracle收购。

       其旗下的主要产品线有：

       Hyperion

       Performance

       Suite（Brio）

       Hyperion

       Essbase

       Hyperion

       Planning

       Hyperion

       Finance

       Management

       等.

       Hyperion

       Planning

       (Planning)

       软件是1个集中的、基于

       Microsoft

       Excel

       和

       Web

       的规划、预算和预测处理方案，可将财务和运营规划过程集成在一起。通过将财务和运营规划模型紧密结合在一起，Planning

       对企业运营活动及其对财务的相关影响提供了深度观察。

       Hyperion

       Planning

       提供：

       同步的财务和运营规划流程

       集成的、同类最佳的分析功能

       Microsoft

       Office

       集成，包括分散的脱机规划功能

       简化的

       Web

       界面

       预定义的功能处理方案

       强大的工作流功能

       可伸缩的体系结构

       强健的数据集成

       楼主假如想知道更清楚的信息，可以到Oracle的网站上了解；另外，提供1个BI类的论坛（BBS）：bbs.bicubes.com

反射率反演

        数字经济时代，数据已成为新的核心生产要素，其重要战略资源地位和核心科学决策作用已日渐凸显。数据潜能的激发，有赖于数据的采集、存储、计算、管理和应用，其中，作为数据采集后进行处理的第一道关口，数据存储无疑是数字经济最重要的“底盘”。

        海量数据爆发，数据存储成关键

        当前，数据呈现指数级增长，数据规模已经从之前的GB、TB、PB，上升到EB级、甚至ZB级。据Hyperion预测，到2025年，全球数据空间将增长到163ZB，这是2011年HPC产生数据16.1ZB的10倍。爆炸式增长的数据，哺育了数字技术发展和应用，但是同时也对计算和存储提出了更高的要求。

        在高性能计算（HPDA）中，计算、存储、网络三大部件缺一不可。以前，产业创新的焦点都在追求更高的算力。而随着大数据、多样性算力等相关技术的快速发展，高性能计算的重心开始从以计算为核心，向以数据为中心的计算演进；传统HPC开始向高性能数据分析（HPDA）方向演进。据IDC统计，全球67%的高性能计算中心（HPC）已经在使用AI、大数据相关技术，HPC与AI、大数据加速融合，走向以数据密集型为典型特征的高性能数据分析HPDA时代。

        HPDA时代下，各行业数据量迎来了井喷式增长。地震勘探从二维向三维的演进中，数据量增加了10-20倍；**渲染从2K升级到8K的革命中，数据量增长16倍；卫星测绘领域，探测精准度由20米缩小到2米，数据量同比增长近70倍。

        数据规模激增之外，业务模型复杂以及分析效率较低等挑战，也都在呼唤着更高效率的存储。

        存储作为数据的承载者，逐步成为推动HPC产业发展的新动能。然而，传统的HPC存储在混合负载性能、成本、跨协议访问等多方面存在壁垒，无法匹配HPDA场景的需求。如何打破存储性能、成本、效率的限制，充分释放数据潜能，成为制约HPC产业升级换代的掣肘。

        高性能数据分析存储，加速HPC产业发展

        当前，作为数据应用和数据分析的支撑平台，以及 科技 强国的关键基础设施，数据存储已成为国之重器，在金融核心交易、新型油气勘探、基因测序、自动驾驶、气象预测、宇宙 探索 等领域发挥重要作用。数据的存储与处理能力已经成为提升政府管理水平、提高企业经营效率、增强企业发展韧性的关键，数据存储正成为加速数字化转型的坚实底座。

        新的产业变化以及数据存储的重要地位，对高端存储提出了新的挑战，同时也在加速存储技术的革新——从HPC部分场景向HPC/HPDA全场景扩展，存储开始承担起加速产业向“数据密集型”转型的重任。根据国际权威分析师机构Hyperion Research 2020年针对HPC市场空间的数据显示，数据存储的增速第一，远高于整体市场平均增速。

        高性能数据分析（HPDA）存储，能够匹配各HPDA场景的高端存储，可以让基因测序、气象海洋、超算中心、能源勘探、科研与工业创新、智能医疗、深度学习、人脸识别等数据密集型HPDA应用场景，在效率、品质、性价比等方面实现飞跃式提升。

        值得注意的是，华为OceanStor Pacific系列下一代高性能数据分析（HPDA）存储，可以高效应对超高密设计、混合负载设计以及多协议互通上的关键挑战，推动HPC产业向数据密集型升级。目前已经成功应用于自动驾驶、基因测序、气象预测、卫星遥感等众多国内外高性能计算场景企业及机构。

        存储作为高性能数据分析的重要引擎，正全面释放HPC的应用价值，驱动着HPC产业不断进步，跨越“计算密集型”到“数据密集型”的鸿沟，持续推动人类 社会 繁荣 健康 发展。

       遥感器接收目标辐射或反射的电磁波所形成的遥感原始图像与目标相比是失真的，这是因为在太阳-大气-目标-大气-遥感器的光线传播路径中，许多因素的影响造成接收的信号不能准确的反映地表物理特征。这些因素归结为以下几个方面：

       1）大气内容物的影响。大气主要由大气分子和气溶胶组成，这两者的影响行为是不相同的。大气分子瑞利散射、气溶胶的Mie散射；大气分子与气溶胶的吸收及两者的耦合作用。一方面，大气的吸收导致消光，减少了辐射量，降低了图像对比度，使图像变得暗淡；另一方面，大气散射导致的程辐射，增加了辐射量；

       图5.16 系统级几何校正效果（660nm波段）

       2）表面因素的贡献。在一般的应用中，为了简化计算，假定地表为朗伯体，反射与方向无关。事实上任何物体表面在物理特性与物质结构上都不是理想朗伯体，因此认为地面是朗伯体会带来误差，而当地表方向反射特性突出时，假设地面是朗伯体的大气纠正方法精度受到限制。另一个因素是，由于大气散射的存在，邻近像元的反射光也会进入目标视场从而影响辐射量，即交叉辐射。

       3）地形因素的影响。目标高度与坡向会对辐射造成影响。

       4）太阳辐射光谱的影响。太阳本身是一个黑体，其光谱辐射按照普朗克定律有一定的形状，这个因素在反射率反演中需要予以考虑。

       由以上可知，大气对光学遥感的影响是十分复杂的。为此，学者们尝试着提出不同的大气纠正模型来模拟大气的影响。但是对于任一幅图像，其对应的大气数据几乎是永远变化的，且难以获得，因而应用完整的模型纠正每个像元是不可能的。最早的大气纠正方法是从图像本身来估计大气参数，反复运用大气模拟模型进行纠正。结合地面实况数据进行大气校正是另一种方法，其包括两种类型：一种是通过地面测定大气参数（如可见光近红外的气溶胶的密度及红外区域的水汽浓度），再结合辐射传输方程作近似求解；另一种是测得地面目标物的反射率，再与图像数据进行比较来消除大气的影响。地面同步测量有助于提高精度，但是却需要人力物力，且应用区域也有限。此外还有一些大气纠正的方法。例如在同一平台上，除了安装获取目标图像的遥感器以外，也安装上专门测量大气参数的遥感器，利用这些数据进行大气校正。

       综上，大气纠正具体算法大致可归纳为基于图像特征的相对校正法、基于地面的线性回归模型法、基于大气辐射传输模型法和复合模型法这四种。

       基于图像特征的相对校正法是在没有条件进行地面同步测量的情况下，借用统计方法进行图像相对反射率转换。从理论上来讲，基于图像特征的大气校正方法都不需要进行实际地面光谱及大气环境参数的测量，而是直接从图像特征本身出发消除大气影响，进行反射率反演，基本属于数据归一化的范畴。精确的大气校正需要精确的测量大气参数和复杂的运算，这些在许多遥感应用中，往往很难满足。并且，在某些应用中不一定需要绝对的辐射校正。此时，这种基于图像的相对校正就能满足其要求。辐射校正的统计模型主要有内部平均法、平场域法、对数残差法等。

       基于地面线性回归经验模型法是一个比较简便的定标算法，国内外已多次成功地利用该模型进行遥感定标实验。它首先假设地面目标的反射率与遥感器探测的信号之间具有线性关系，通过获取遥感影像上特定地物的灰度值及其成像时相应的地面目标反射光谱的测量值，建立两者之间的线性回归方程式，在此基础上对整幅遥感影像进行辐射校正。该方法数学和物理意义明确，计算简单，但必须以大量野外光谱测量为前提，因此成本较高，对野外工作依赖性强，且对地面定标点的要求比较严格。这种方法仅适用于地面实况数据特定的地区及时间。

       大气辐射传输模型能够较合理地描述大气散射、大气吸收、发射等过程，且能产生连续光谱，避免光谱反演的较大误差，因而得到了最广泛的应用。在遥感实际应用中，大气辐射传输模型需要进一步简化，如：假定大气是水平均匀的、假定地表是朗伯体、排除云的存在、运用各种条件下的标准大气模式及气溶胶模式（由于长期试验数据积累和理论研究归纳而成）等。不同的模型的假定也是有些区别的，比如6S是地表均匀、非朗伯体的模型而5S是地表均匀、朗伯体的模型。

       5.5.1 原理与方法

       基于图像特征的相对校正法主要有内部平均法、平场域法、对数残差法等。

       （1）内部平均法

       假定一幅图像内部的地物充分混杂，整幅图像的平均光谱基本代表了大气影响下的太阳光谱信息。因而，把图像DN值与整幅图像的平均辐射光谱值的比值确定为相对反射率光谱，即

       ρλ ＝ Rλ /F （5.14）

       式中：Rλ为像元在该波段的辐射值；Fλ为整幅图像的平均辐射光谱值；ρλ为该像元的相对反射率。

       （2）平场域法

       平场域法是选择图像中一块面积大且亮度高而光谱响应曲线变化平缓的区域，利用其平均光谱辐射值来模拟飞行时大气条件下的太阳光谱。将每个像元的DN值与该平均光谱辐射值的比值作为地表反射率，以此来消除大气的影响。

       ρλ ＝ Rλ /Fλ （5.15）

       式中：Rλ为像元在该波段的辐射值；Fλ为平场域的平均辐射光谱值；ρλ为该像元的相对反射率。

       利用平场域消除大气影响并建立反射率光谱图像有两个重要的假设条件：一个是平场域自身的平均光谱没有明显的吸收特征；另一个是平场域辐射光谱主要反映的是当时大气条件下的太阳光谱。

       平场域模型已广泛应用于遥感数据处理中，它是在内部平均法模型基础上发展起来的，这种模型克服了内部平均法模型易受像幅内吸收特征影响而出现假反射峰的弱点，而且计算量更小，其不足之处在于选取光谱地理平台单元时，会引入人为的误差，而且需要对研究区内地物光谱有一定的先验了解，当选取具有不同反射率等级的地理平台单元时，会引出不同处理结果。当研究区位于山区或其他地形起伏较大的复杂地区时，选择地理平台单元较为困难。

       （3）对数残差法

       对数残差法的意义是为了消除光照及地形因子的影响。按照一定的规则调节每个像元值，使其在每一个被选定的波段上的值等于整个图幅的最大值，然后对每一个波段减去其归一化后的平均值。假设有

       DNij ＝ TiRijIj （5.16）

       式中：DNij为像元i的j波段的灰度值；Ti 为像元i处表征表面变化的地貌因子，对确定的像元所有的波段该值都相同；Rij为像元i波段j的反射率；Ij为波段j的光照因子。

       由表5.2我们可以看出，以上三种方法中，只有残差图像法是真正意义上的辐射校正。

       表5.2 高光谱基于图像特征的相对校正法对各种影响辐射的物理因素的补偿能力的比较

       除上述基于图像特征的相对反射率校正外，还可基于大气辐射传输理论的大气纠正模型开展反射率校正工作。

       5.5.2 实例分析

       （1）基于6S的反射率反演模型对CHRIS数据进行反射率反演实例

       欧空局（European Space Agency，简称ESA）的Proba（Project for On-Board Autonomy）卫星于2001年10月发射成功，是星上自主运行技术的示范，也是新的航天（包括硬、软件）技术的成功范例，可用于测试地球观测和空间环境仪器性能。有效载荷包括一台紧密型高分辨率高光谱成像仪（CHRIS）和一台辐射测量传感器（SREM）及岩屑探测器（DEBIE）和宽视场角地球定位相机和恒星跟踪器及陀螺仪。

       经过一年的运行Proba已经完成了它的技术示范任务，它为科学界提供了前所未有的创新性的卫星高光谱多角度CHRIS数据。CHRIS图像提供了可见/近红外高空间、高光谱分辨率的地表反射率数据，利用Proba的定位功能，可以得到试验区五个观测方向上的二向反射率数据（BRDF），五个角度的观测几何见图5.17。CHRIS的主要参数见表5.3：

       图5.17 CHRIS/Proba图像获取几何示意

       C1～C5为相应的中心时间

       表5.3 CHRIS/PROBA 的主要技术参数

       CHRIS有五种工作模式，其中模式3和模式5是为陆地应用设计的，模式2则应用于水体，模式4应用于叶绿素反演与监测。模式3可获取18个波段，相应图像空间分辨率为17m，不包含水汽通道；模式5可获取37 个波段，空间分辨率为34m，包含940nm的水汽通道，可用于水汽反演。图5.18为模式5的每个扫描行的组成。

       图5.18 CHRIS模式5每扫描行像素组成

       我们在本试验中获取的模式5观测天顶角为0°的数据，相应的波段信息见表5.4。

       表5.4 PROBA/CHRIS 工作模式5（mode5）对应的波长信息

       续表

       实验所采用CHRIS数据其他信息描述：

       获取方式：MODE5；

       波段数：37 个，波长范围 442.49～1025.30nm，包括一个水汽通道（波段 31）：中心波长945.31 nm；

       空间分辨率：34 m；

       图像行列数：766列× 748行；

       图像数据类型：长整型；

       图像中心点经纬度：116°52′E，40°10′N（昌平一带）；

       图像获取时间：2004年7月8日，3：22（UTC时间）；

       卫星平台高度：596 km；

       图像物理单位：μW/（m2 ·nm·sr）；

       地面平均高程：200 m。

       图像处理：

       1）去坏行处理，以相邻两行（每侧各两行）取平均，代替坏行。

       2）根据反射率反演软件的要求，即图像为整型数据和图像定标后辐射单位为W/（m2 ·μm·sr）将图像单位μW/（m2·μm·sr）转换为W/（m2·μm·sr），从量纲上来看，前者是后者的1/1000。因此根据原图像的数据范围，除以10取整得到整型数据（短整型），然后将所有波段的增益均设为0.01，将得到辐射单位为W/（m2·μm·sr）的整型图像数据。

       3）启动反射率反演软件，设置各项参量，运行程序。程序输入参数界面如图5.19所示。

       图5.19 CHRIS/Proba反射率反演输入界面

       4）由于传感器自身光谱与辐射定标的精度直接制约着反射率转换的可靠性，为了有效去除图像数据和大气辐射传输模型间存在辐射定标不匹配现象需要进行图像反射率光谱去噪平滑。

       结果表明：反演得到的反射率在498～760 nm波长区间能够表征植被（玉米）的反射率光谱特征，与图5.20（c）相比，能够去除绝大多数的大气吸收特征，但在760～805nm之间的峰形与标准植被光谱差异较大，这可能与CHRIS仪器本身在760 nm附近的氧气吸收带的光谱定标误差有关。在805 nm以后与被标准植被反射率曲线差异也很大，主要是近红外的高反射率“平台”不明显，反而呈急剧下降趋势，940 nm附近的水汽吸收带也没有反映；对于土壤光谱，众所周知，常见的土壤光谱反射率在＜1140nm波长范围内呈现单调增加的趋势，而图5.20（b）中的土壤光谱反射率在900nm之后递减，这与常识相违背，而事实上即便在土壤的野外光谱测量上940 nm的水汽吸收作用也并不明显。究其原因可能在于两方面：一是CHRIS仪器本身的定标精度，另一方面也与反射率反演模型的校正误差有关。

       图5.21是将通常的统计方法IRAA和FF应用于CHRIS图像上得到的同样采样点上的植被和反射率光谱，可以看到，两种方法得到的植被反射率光谱在谱形上非常相似，FF方法得到的反射率更平滑些，但二者在以500 nm为转折，反射率先下降后增大，这与通常的植被在蓝光波长范围的单一上升趋势不一致，与反射率反演结果相比，没有760 nm的凸起变形，这从另一个侧面反映了基于模型的反射率反演对定标要求更为苛刻；从土壤光谱来看，两种统计方法获得的结果差异很大，特别是在＜750 nm波长区域，IRAA起伏变化剧烈，而FF结果总体上要平缓得多，呈平稳微小上升趋势，这与土壤光谱反射率在＜1140 nm呈单调递增趋势的常识相一致，虽然平场域法的有效性与“平场区域”的选择恰当与否直接有关，但无疑在本试验中平场域法得出的结果最切合实际。

       图5.20 CHRIS数据反射率反演结果

       图5.21 内部平均法（IRAA）和平场域法（FF）得到的CHRIS图像反射率光谱

       图5.22 地面实测光谱采样到与CHRIS波长设置相一致

       为比较三种方法所得地物反射率光谱与地面实测光谱间谱形上的相似性，我们收集到2004年7月6日本试验区内的地面测量光谱，典型地物为玉米和土壤（裸土）。测量时间为北京时间11：40左右，与图像获取准同步，便于与图像光谱进行比对。光谱测量采用的仪器是ASD Fieldspec FR2500光谱仪，其光谱范围为350～2500nm，采样间隔为1.4nm（350～1000nm 区间）和2nm（1000～2500 nm区间）。每个样本测量10 次取平均作为最终光谱，以避免随机噪声干扰。图5.22 为根据CHRIS中心波长和半高全宽（FWHM）采样后的光谱。

       计算得出它们之间的相关性（表5.5），并对可见光和近红外分别进行比较。可以看到，对玉米光谱而言，反射率反演算法订正后的反射率光谱与实测光谱间的一致性最好，特别是在可见光范围的一致性远远高于经验方法；对土壤光谱而言，在可见光范围，基于反射率反演的仍保持相似性最高，但是在近红外波长范围，反射率反演和IRAA都与实测光谱呈负相关，基于模型反射率反演不能很好地表征植被在近红外反射率“平台”（750～900nm）和900～1100nm的水汽吸收特征，特别是平台部分相关系数为-0.43221。相比之下只有FF方法在可见-近红外波段都保持较高的相似性。也印证了上文的分析结论。

       表5.5 三种方法得到的植被反射率光谱在可见光区域的相关性（R）

       为此，将反射率反演纠正结果与FF相结合，即保留760 nm之前的反射率反演光谱，将760 nm之后的FF光谱做适当平移，然后采用经验平场反射率转换算法（EFFORT）对光谱做进一步平滑处理，可以得到与真实光谱更加一致的光谱：谱形的相似性和特征位置的保持。修正后的玉米光谱见图5.23。

       （2）基于MODTRAN的反射率反演模型对Hyperion数据进行反射率反演实例

       启动基于MODTRAN的反射率反演模型，其界面如图5.24所示。

       美国航天局（National Aeronautics and Space Administration，简称NASA）的EO-1（Earth Observing One）卫星于2000年11月发射成功，其上搭载的Hyperion高光谱成像仪目前已获取了大量高质量的星载高光谱数据（表5.6）。

       使用如图5.25所示庆阳地区Hyperion数据进行反射率反演，提取裸土像元反射率光谱，并将其与ASD数据进行比较，如图5.26 所示。由图可见，在可见近红外波段，两光谱在波形及量值上相近，在短波红外波段，反射率反演结果要略低于ASD采集的数据，这主要是因为气溶胶数据不准确造成的。反射率反演的裸土反射率光谱与 ASD 采集的裸土反射率光谱之间的光谱相关系数达到0.9342。

       图5.23 与FF 相结合修正后的玉米光谱与真实光谱比较

       图5.24 基于MODTRAN的反射率反演模型界面

       图5.25 实验所用Hyperion数据

       表5.6 Hyperion/EO-1 的主要技术参数

       图5.26 反射率反演得到的反射率与ASD反射率比较

       图5.27 敦煌实验场Hyperion数据

       使用如图5.27所示敦煌实验场地区的Hyperion数据进行反射率反演，提取实验场均一像元的反射率光谱，并将其与准同步的ASD数据进行比较，如图5.28所示。由于该ASD数据在大于1800 nm的谱段噪声非常大，所以只比较450～1800 nm之间的谱段。两光谱在波形及量值上相近，反射率反演的反射率光谱与ASD采集的反射率光谱之间的光谱相关系数达到0.9516。

       图5.28 反射率反演得到的反射率与ASD反射率比较

       好了，今天关于“hyperion数据处理”的话题就到这里了。希望大家通过我的介绍对“hyperion数据处理”有更全面、深入的认识，并且能够在今后的学习中更好地运用所学知识。