煤矿大数据基本设计说明书.docx
煤矿大数据项目基本设计说明书XX科技股份有限公司编制目录一、煤矿大数据分析项目3（一）煤矿大数据项目中心架构3（二）数据处理流程3（三）网络拓扑图4二、数据生产展示4三、数据采集展示5四、 数据分析展示6五、 数据可视化展示61. 权限管理62. 煤矿大数据7六、 项目安排10一、煤矿大数据分析项目（一）煤矿大数据项目中心架构图1俄矿大数据平台架为图（二）数据处理流程图2爆旷大数据项目数据处理流程图(三)网络拓扑图图3煤矿大数据项目同络拓扑图网络划分为：用户子网、大数据集群子网、Web服务器子网、数据库服务器子网。*MV.图4获取数据并去掉批感词通过函数生成煤矿大数据数据，雷配置生成文件名和生成路径。三、数据采集展示T-y*s(Kr1(«MB.MBfA*t*<wS4w*f<KiM*«Im«<Im*«*»«Wb*1fca.<Ut.<<<<*<*HUHtit*.3”AJr<MM<<U(U41tW，*MQkM*QZNMf<rM，X”UW<M>*O.iM.<<ifJM.wW<M.k<1rAkhkit3R.Uf1.Q”.，1一MeM%).kr*W*4.«««*<*4B*-R.U<JXt<M*<*v.)tV*r«M1.kwW*.tt(kVMvari4M<Mt*M4Mj5W*I*Mf11rK4MRAIt11fHe41.“ry”1.»IW>M1.<kf*M1.t*rm<3tnt.>,n>1.n4*HtnB«M1.k*y««*<femJMM««t.k*yt<.tMMIQ.k*Mx“tk*-.Q*M*t*VK<<<U*5.r*U.Vw>>.>>f三MMtMtM.M.1r*MM*r<*MtBM1.IMt*.<r*4ttre.M4iMM1.frt*t*f«««5.QEE*<yt*M*Mm<*IMM.w*S*jm<Im«*f-W*k*1a<M.w*1.U*1.M.y<*4r0fk1.im卜.uwt,.“3"*w*3“««”，.un所)，hI1.U>WHtU.aM-1.<WW<3"，”1-8WbI1.1.4,metrVBMtHiMRwtrxYMII*M<M<*<“QkS8，三*k1.<3,1.M,*vk1.1.<>>U1.M<rM<4>MRNH*t*M<erV(>M»QEMW.m*b1.tf<4图5f1.ume呆集图6kafka集群待消黄做据*1.-tn>；Z4r,k11.»<Mi<4,1.*a>M1.M.*«1«(««.Aa*.MU,t21«*9f<4M41H,1k.Mkv.1.fMj1.1.1>Z79JDM>IMtv1.fi.*UM(9MtV!mUtIMdWt>w><8-<1.try1.<fyvr.*M.1.fBtQUW<!««Vf1.Mr«f1.UM，<J：C1M，CKMMM1.1.*1.X，4>t<AM9*.M*4J，a»4XI.I*rto(MfAM*w1.t*M1.a9>U>>.>*>*<*a*>V1.U1.*1.4w*1.Mj*»4JFwMMMSiIinW:/W(rAKeUW«K<*.(«*4«*Ae«>o»«M»?1.iW»«M1.UfjD1.>.:，/，M*IC1.«1.ow(e1.。.41.U41.tek1MM.1.t4).*c4M.M1.MZtiXU2-*1mCU4*<1.>Im,TJ»，*>UM.«»1.k0!*«u1.1.:，ha11M1.*2UHM«0»-t«4<im>rI*jfVM>t*ImwtMMto-U«*<*>*1.>><.M>>.Utew*.TNMIf1.>!>1.-MR>1»WIMIAKt(M*1t<<4e.<Mv*1O*a1.1.1.><c1.*0w41.7k(4JM.Q".<1.>mI!ta.t.tIJamrwMHiCMM".r*Mmrw¼uC*nM*w*m*wwcm*e445*1.N1.2V11mCjtfi“"21.M1.rIiar*M",:Iv>rwnC1.WMX小，A:IA1.eaE”jm*3A<,i3im“Ii*!M9eM-A4¾1.a9nn>m4Mi44Nimniu4)VIM.H:1.*Mm?n|1.|a¾xmsc*m.gnwvnI.M0tA.i1.*iWt>AJn1.>wrvn11:Int7wntk2miM:Imiimmki11IaMIirftIM1.1.MMK1.mv*ic、im”iiIn,11MJnA.9m:IM1.iMMK1.UC!>»«ISe1.m；6,“MWI”fRK"，C1.rAJI8HN11*MMQ*)1.nMIVIMJMW7111.JWIVMNItMMMM)t-M7rMM,yM7”“%IWH"MMIWMT11jBM*wt%.amM>Ii!J*7*1.rMMI1W1MM7>I1ICMMI7>VM1IMMNCi1.A<,>ve"aaX4*wtRm"EM711,*BnICKMI”EM2IM1.11V>!Kr<1.*M1.J三I*Ii4*1.MV«1.»nv«N?1.IM7MVMI1.camm.f3»；13»m*«nit%v*.n>>w4i%tMMW.K，*；IVM1.MMNI”MM41.>.*kM1.1.MMK1.'MI4B.HMnIIMMK1.¾ixm>*2W,IMMN"Mraa<>1»1.0«wca*图7HBASE存储故据1(4w*1.1.14H1.1.1.rt>49e1.t1.1.Mtn*1.HMjrrEtfM*1.“1.t1.Iwtw1.1.44iMtW<U三*1.,*4(ian.t>nw>MI-m1.1.e*>M三*H>¼1.a.«M*«v«tat.vs1.<1.MMMto*IM.1.m.t1.M1a*>1.<41.MM21.1.TRA力HtP-4<UMn;IWMUaRMtaB*ia;MMJ，”.wU*IWIMIMMa*“«，”，.-一31UE,0*1E“m”，<c1.(三Hkc41V.tiw*ea*H1.1.Mn)i.Bg1.M?MQM<U*三1.sA1.t.tMWtwKIIM*M>I.Im;4(4tfM1t<4a.Q1.，*"IIMan，：.w«1.<*U*«»«1.：biiiU.t1.M.t1.MtrU41M4MX47.MIMMR»：!：»<UMM41.S1.MiUtMUM1.WtMmMM2U,m1.Mr>*>*1.1.>MVmr.*WM11MMN<U0*Hi!(41U.tMt<a*三HiiMnm.B1."VM<*U*W4t;*t1.m,ttM*1.t1.1.¼M*A>.IOTM1(4mmi<4,4iv*v>t<t*anmr.*三“Uaw>m(f.tM><K1.>*W.1.w2f,fn.Jmu«1,tU*t*>M1.i44BW.IWMWiMM1.>f411t.r->"%M*MM%,x1.IBBM%MR<tMMH(U3.tMtCa*Mi1.MMM>%.*«!«1N1.1111M<4M*1.*t'ttm.tM*WHM4MJT.ImB<*a*w41.t4t.Q3,Qv1.IMBME.w.1.，g.t1.M19U41.544*mM.TMMR»4。J1.(U*mMtiat,t1.*MM*1.1.%4Mtm.vUmV/1.MWIMt，UMIQ1.i*M1.K7X4ym<tU»«M1.：<41U.ttwte*Hk1.MMQM.*twIV>1.4>91J<U*M1.t1.*t1.M.tMM4*a*U*M*.Za.M.M*«U»«»«.*三r-1.1.M7.ww1.<，U»«»dJ_Ua>.(uIMietM1.>WC.fMvmAA*U*M<1.teiU«M»t«(MtM*MSi44B.*U*.IWX/MWM».三w4w4n.-41.v>iM4rMm.*imm)immh<u*t<v.iM*tM*HM*>Mm.*iMnt>Maj*4MM-4At>em.tMVa*-ut1.MMM*,“I】mfrMM4tMI*,1.*v!*MMOTW%.w1.M图8HBASE存储数据2通过f1.ume将客户数据采集到kafka集群,然后使用I1.basc消费kafka集群数据。四、数据分析展示r-MsCOBtAC1.C.d<<MTy*Mnanf>S1W01.!41SMC4>44I2IMieMkXO2J*f.>4|ISCI1.XM1.e»25I.10I.(IU>MI9tJSSI，D-IMOOMOVJMI.|TwBoooej71I.|9IiiCOOOUTW71I.|，IH>
