刘春影-以数治“疫”--谈时空大数据分析体系建设.docx

/以数治疫''-谈时空大数据分析体系建设易智瑞（中国）信息技术有限公司刘春影疫情当前，我们的困惑:如何找到中间大量的B?时空数据洞察挖掘如何追踪感染者、密切接触者、疑似者？通过考几信令物居，对感染者进行追踪，对密切接触者进行挖掘，实现时空数据关联分析。hul<aRgqaoYuchangpingAhshO北WaGudyuanChJhhuaChTkoChegongZT<tou:少1I手机信令数据数据清洗数据入池时空轨迹分析步行人群分析密切接触者分析感染者轨迹分析高风险小区分析疑似患者分析各小区潜在病患分析时空轨迹分析上午GOO-9:00部分步行人数:1678条9IIIIIIIIIIIIIIJIIIIIII1»,2017年2月18日6:00-10:02步行人JBt（«»：1678.BWV：0）三XmsisdEd.datetimedistance_meterspeedO）7.002/18/20178:4310,636.29189.93Windows.：HHASeOO2/18/20179:14上午11,581.42193.02Windowsl.002/18/20178:11±«F909.03181.81198.002/18/20178:28上午17,282.89192.03?/lfi/7017q：?4卜牛2.387.11198.93确诊患者移动轨迹时长：56分钟，距离：10.64公里，判断为沿着湘江边跑步JunshanpuZha(Wa冽YingfengqiaoYangjiaoXmqiaoheYiyangShangdUkOUYangimzhai一-1.IUSngXiangyinNanhuzhouChangkang白水播BazishaoYuhuaChemaPaikouWffitM黄柏靖XiangjiaWengjiangPingjiangSanshiAndmgChangshouHuangjmdongJiayiTaojiangJietoupuFuqiushanXinshiduBijiashanQuanjidobeFusboushanShiniujidngGaoqiao沧水镉镇BaishaDawe>Uja11NijiangkouSongmutangHexishuiHuishangangCuipmgMeitanbaBaishitangXiaoheChiXin,Baishui)ng4kowShatianNantHuangmaoTanbuIgcangJmshiChengchpngWesah1,1.ingdoiZhutanDaoUnFerxNanmu格林多桐木镇ShaoshanYijiawan崎论圭古（妾紊：1.已送舞：0）Start_datetimemsisdn2/18/20177:47上午YmtianShaoShanXiangtan石绛区ZhuzhouGuanzhuangFeijiantanJmruiH南桥慢En1.datetime2/18/20178:43上午distance10.64distance_meter10,636.29189.93疑似者时空行动轨迹确诊患者疑似者3小时内，与确诊患者轨迹交叉者：372人精准分析深刻洞察时空关联15分钟内,与确诊患者轨迹交叉者：188人时空大数据分析体系建设时空大数据分析体系建设思考数据技术应用思维 追溯时空数据本源 赋予历史数据温度 洞察时空数据本质 时空数据融合分析 完备的技术框架 合理的技术流程 落地的技术方案 普适的技术方法 解决复杂业务难题 探索新的应用模式 提升空间信息产业价值 拓展空间信息产业维度 大数据人才建设 人才驱动业务 业务带动思考 思考产生变革时空大数据分析,流程与方法时空数据汇聚时空数据管理时空关系洞察挖掘知识引擎模型时空大数据应用场景多数据源接入数据时空质检自动化;挈时空大数据存储数据融合数据治理时空算法解构分布式计算自定义扩展流程化建模业务需求场景化模型复用业务需求场景化时空数据洞察全业务流程管理时空数据汇聚,大数据分析的关键多业务电力农业国土Ihshpfile多结构管理大数据资源池CSV/TSV/TXTDBMS易智瑞空间大数据：分布式读取、高效;匚聚汇聚2亿条小时观测数据1801681601401201008060402。耗时传统方式大数据方式DataSourceDataSourcelDataSource2BigDataResourcePool动态抽取、高效同步、自动化融合、流程化处理疫情时空数据存储及管理多数据源:多源数据矢量数据表格数据PoI数据手机信令数岁汇聚数据清洗内容:网页数据实时数据1.数据规则化2、数据空间化3、要素连接规则4、数据质检方法5、6、字段计算空间投影规范流程多数据源数据汇聚数据清洗数据质检楚盛）时空关系洞察挖掘一智能化分析工具：1300+空间分析1000+地理处理工具网络分析IO-数据管理地统计分析直找位置-26+矢量大数据分析工具数据丰富-受数据分析模式O-管理数据数百个栅格大数据分析工具押格函数链影像分析动态影像服务标准空间分析大数影像管理得塾FW分析分类机器学习GeoAI工具TCNTK聚类栅格计算近百个机器学习工具经验贝叶斯回归临近分析PythonpandasSdkit-Iearn矢量大数据分析：全新能力、全新应用方式六大类、26+工具、数百个算子汇总数据模式分析数据管理工具组合点聚合H要素连接.轨迹追踪属性汇总范围内构建多变量网格H描述数据集密度计算热点分析空间聚类随机森林分类回归广义线性回归拷贝数据字段计算追加数据空间叠加裁剪数据边界融合数据合并逻辑判断We腌化应用直找位置邻近分析数据丰富离线计算业务工作流APIforPythonNw拓扑检查创建缓冲区查找相似位置事件检测地理编码查找停留位置从多变量网格丰富数据NeWRunPythonScnpt数据治理.叠加分析.事件检测.机器学习.洞察预测.全方位分布式计算1）快速描述海量空间数据结构，深刻洞察数据价值bw描述数据集工具：以全局的视角洞察时空数据洞察3亿条数据，仅需50秒数据治理英S1.文件夹GK-f.J0Ra大小1a93GB*9.49108¾451M占用空晦515GB(S53.344.040.960字6包含：2,760个文件.23个文田 宏观描述数据分布态势 细粒度侦查数据结构 深入解构数据时间、空间、属性信息方形选择方形条柱的大小t>ountjd实现精细化地理空间赋能2）构建多变量网格并根据BuildVariableGrid一个或多个输入图层的邻近性计算每个网格的变量值He*cngXionningHonshu1.usan多要素关联组合JrgdezhenZM忡WYor9uuYongshunIePFYuanlmgYinqUnChtnoFuzhouAnCountyNanfcngOOngkoUH*tongJtWSulzngJtr9rh0uNIn8。Yo119bo<jXinntng1.OwgChengtxj精细化网格构建多元实体赋能升维空间能力构建多变量格网工具会生成正方形或六边形网格JtujiangHMkOMFcogchcftgy.uA119NSChCrYfm他叫。Huhu>Ztt119TeimngJidmingfC5Shz3）驻留区域排查，多维度洞察时空关系10.8新增Finddwelllocation:针对启用时间的大规模点数据（如人员移动数据、车船轨迹数据、候鸟迁移数据），以查找对象在指定距离和持续时间内停留的位置。New1.89泉城街面即I班找停留位置SAlCVOuMCMnqkM500米范围内1粉钟驻留区域分析K1II.II1TID2017*2fl18B6:01-6:234»二4）多维要素连接,Join:时空、空间、属性连接排查潜在感染小区感染者轨迹拓展30米缓冲区与小区数据做要素连接三一大潜在蟋小区：1980K*ftlC111AMm(*:1980.dais：o)b_zexxz.hs,o*mvmtypeS,995.50.00subtypetextiabd.oo0,919.S0.00100.话大-施?Desr5）智能引擎、模型构建易