郑州轻工业学院大学生实践创新项目任务书.docx

郑州轻工业学院大学生实践创新项目任务书为充分发挥大学生创新实践平台的作用，促进创新实践项目的有效开展，工程 训练中心与使用创新实践平台的项目负责人订立本任务书，请遵照执行。项目名称大数据需求下的分布式爬虫系统项目类别大创项目项目负责人（联系方式）贾启O指导教师（联系方式）谷培培房间号351项目成员（联系方式）姓名学号专业班级手机号贾启软件工程（JaVa技 术）15-02李思雨软件工程（移动互 联网15-02）项目主要研究 内容人类社会已经进入大数据时代，传统的信息存储和传 所替代，并呈现出指数增长的趋势，成为21世纪最为重要 爬虫是SPider（或RObots、CraWIer）等词的意译,是一种南 它集成了搜索引擎技术，并通过大数据技术手段进行优化 抓取并保存任何通过HTML （超文本标记语言）进行标准化的 系统是在计算机集群之上运转的爬虫系统，集群每一个节 集中式爬虫系统的工作原理相同，所不同的是分布式需要 任务分工、资源分配、信息整合。分布式爬虫系统的某一 一个主节点，并通过它来调用本地的集中式爬虫进行工作 点之间的信息交互就显得十分重要，所以决定分布式爬虫 于能否设计和实现任务的协同，此外，底层的硬件通信网: 以采用多节点抓取网页，并能够实现动态的资源分配，因J 布式爬虫系统远高于集中式爬虫系统。随着互联网技术的发展和数据爆炸，网络爬虫技术为 息整合应用提供了全新的技术路径。站在商业银行应用实 银行日常经营管理中的发展潜力巨大。网络爬虫技术的应 为最了解自身、最了解客户、最了解竞争对手、最了解经 行”。可以预见，网络爬虫技术将成为商业银行提升精细 智能化水平的重要技术手段。播媒介已逐渐为计算机 的经济资源之一。网络 ，效的信息抓取工具，用以从互联网搜索、 网页信息。分布式爬虫 点上运行的爬虫程序与 协调不同计算机之间的 台计算机终端中植入了在此基础上，不同节 系统成功与否的关键在 络也十分重要。由于可 此就搜索效率而言，分商业银行数据采集和信 践的角度，网络爬虫在 用可以助力银行转型成 管环境的“智慧银 化管理能力、提高决策预期提供成果 形式研究论文：相关技术性文档，包括需求分析、系统设计、相关技术、技术实 现专利;相关软件著作权。产品：分布式爬虫系统。鉴定：完成合同或计划任 务书规定的指标；技术资料是否齐全完整，并符合规定；应用技术成 果的创造性、先进性和成熟程度；应用技术成果的应用价值及推广的 前景和条件；存在的问题及改进意见。推广与应用：商业银行应用实践学校资助经费 金额（元）IOOOO项目负责人自筹及 其他经费金额（元）中期检查项目负责人应于2018年5月30日前向甲方书面汇报项目进展情况。结题报告项目负责人应于 2018年10 月30日前向甲方提交项目结题报告。同意以上所列 内容，在此签 字盖章甲方：工程训练中心（公章）负责人：年 月 日乙方：项目负责人：指导教师：承担项目学院（盖章）年 月日注：1.本任务书仅针对进入工程训练中心的项目，一个项目对应一个项目任务书;2.本任务书一式三份，工程训练中心、团队负责人、项目负责人各留一份。