《数据采集技术（初级）》实验手册项目4：抽取网页数据.docx

《《数据采集技术（初级）》实验手册项目4：抽取网页数据.docx》由会员分享，可在线阅读，更多相关《《数据采集技术（初级）》实验手册项目4：抽取网页数据.docx（8页珍藏版）》请在第壹文秘上搜索。

1、任务1使用XPath提取网页数据任务描述在数据采集过程中，需要熟悉网页的数据提取和拆分。本任务是使用GoOgIeChrome浏览器辅助构造XPath提取浪潮官网中轮播图下面的列表信息。使用XPath提取网页数据的思路如下：（1）打开浏览器，找到对应的网站地址。（2）使用“检查”的方式查看网页源码。（3）使用GoogleChrome浏览器实现XPath路径的保存。（4）构造截取信息的XPatho（5）编写代码，使用python中的Ixml截取所需信息。任务步骤第一步百度搜索浪潮大数据，打开浪潮官网。C https /Www inspurxQm Iva 存U动Mr 400&0YTOe w mwMf

2、 4ooaoo 曰考RamE 8oyo7m*u,on1iM1MM”25WI“WxdnX-ISO%.*当业、专注的自主切新理念,提供安全霆X.智畸I台的存他产品及解决方家，充捌工做企业或应用Ia云、大效据、.充分网09业务原统陶霹茕动,A住舐,搔俊程性堤、可用.效率的IT费号.ScuEvMHtsNetworkTnrwraA*nfUwuc*Scw*tAWdQConaotoW,.Sgr.gk“23B4Rr33八八lr-【：门”tituU$vMHb则彳：6电良或ulfWPTbUIS人“加TE%多Ib优化gfll户&ttzvY-t*“stl-*tyl-MgKCgt81Hw0rc4XZ8WClwlRIWt

3、Ta)M.Sl(U:2M;U.。丫,3,11,*1.，243.M,S,4p.(-T,-rnn*Pr*r*f-O-第五步选定要提取的位置以后，开发者工具窗口的代码如卜.图所示。口出删关S应用主机承.审业、专注的自主IM淅现念,安全盛次、哲髭融台的存何产区及解决方案,充分海定传貌企业俄应阴粕云、大数Jt修充分副g三N翼埼IE5动.Afi皿L.E用、效率的ITj三3.91M*.tylIAidsWliiud.tbXMCMrotfM:E”G4lv*41vCUss-POrtltt-1。“XWXTXgH447)XCt3l09加12卷”7497窗3小$4.Olv41vcl*ssportletio11B1O71

4、M4MM22MCO9*m2i299n470M5W)l)etU0ilpXy:p;-dlv-16.5Zi-dC:1M).SW*(*Uat:l*t;wit*:27；acfift.right：11；Mjdwco*H力Sd*2OMa5W4d叱56、第六步在上面单击右键，选择“Copy”一“CopyXPath”命令，如下图所示。寻找一个可以输入文字的地方，把结果粘贴下来，可以看到如卜的XPath语句:/*Qid=nIl151f3a715d42088f88f2f2a5934cfaciiv2div1/table1这种写法是可以被IXml解析的。方括号中的数字，表示这是第几个该标签。例如/*(5)id=,111

5、51f3a715d42088f88f2f2a5934cfadiv2,表示在id为“11151f3a715d42088f88f2f2a5934cfa”的标签下面的第2个标签。注意，这里的数字是从1开始的，这和编程语言中普遍的从0开始不一样。在开发者工具窗口中，每个标签的左边有个小箭头。通过单击小箭头可以展开或者关闭这个标签,通过这个小箭头，可以协助分析页面的HTML结构。请注意下图方框中的每一个VtabIe标签。这些方框中的Vtabie标签就对应了每一条信息。通用服务器人工智能服务器存储持续创新,引领ITE础设向发展，专汪于客户需求，以匠人精神为客产都送滇就从单机4十到64卡一群 的不同人工智能

6、计H平台，广泛应篥承”专业、专 念，提供安全谶GSoixcesElementsNetworlTunelineProfilesResourcesSecuntyAuditsConsole divclsportlefid-42deeflet)71421594cl4M5fS5t57oe*!uleldM6276f5424cc82e4fewduleidlb9SMdlf2466e9749722e/41cSe4.div-divclss-portlt-id-lllSH71Sd42MSfMU2S9Ucoge三oduleidbe29tll47d4MS94931S*divlignlHfcXss-portlet-hed

7、rstyle-disply:ooftyK-stylt)vhtmbodydrvconUP*v*nndv11151f715088Sf259Md9mcp_Rm.ttW3-S第七步定位目标，获取想要的HTML代码，代码如下所示,#coding:utf-8importrequestsimporturllib3fromIxmlimportetreeurllib3.disable_warnings()url=,https:/dom=etree.HTML(r.content.decode(utf-8n)block=dom.xpath(*0class=,inzd_tabl,)#打印提取到的结果t=etree.t

8、ostring(blockO,encoding=,utf-8,pretty_print=True)print(t.decode(,utf-8)说明：代码中第二行importrequests为引入Python的一个常用的第三方库，用于数据采集过程中的URL资源处理。在使用过程中需要先进行安装，安装命令为pipinstallrequests.效果如下图所示。KEbIAKI:C:UsersAdmnstratorDesktoptest.pySqueezedtext(5786lines).通用服务器 tdclass-*incpsumtitle3tssum持续创新，弓I领IT基箍设随发展，奇注于客户需求，

9、以II人精神为您户提供专业、优化、高效的产品体蛉。查看更多第八步构造IXmI,提取table里面的内容。代码如下,tl=block0.xpath(,tbodytrtdatext(),)#打印结果print(tl)效果如下图所示。三三=三三三三三三三三三三三RESTART:C:UsersAdministratorDesktoptest.py通用“务器，查看更多，人工智能服务器，查看更多，存猛，查看更多健应用主机，查看更多，?近平总书记勉励浪朝再接再厉，维查看详情，Y技战“疫”，浪淳1为各行各业隹下.，查看详情，献礼70年奋进新时代】浪疑唱查看详情任务2使用正则表达式提取网页数据任务描述在爬虫的开发中，需要把有用的信息从一大段文本中提取出来。正则表达式是提取信息的方法之一。本任务是使用python正则表达式拆分浪潮官网的数据。使用python正则表达式半自动爬取拆分浪潮官网的数据思路如下：(1)打开编辑器，引入使用正则表达式所需要的包。(2)模拟浏览器请求，请求浪潮官网的数据。(3)使用巾ndall方法匹配所有的vh3标题。(4)使用正则表达式提取所有的链接