数据采集初级证书考核大纲(计算机专业).docx

数据采集初级证书（计算机专业）考核大纲版本号：L0山东浪潮优派科技教育有限公司2020年10月日期：2024年2月28日更改控制页序号版本号更改时间更改内容描述填写人11.()2020-10-09新建目录1. 培训目的51.1 培训目标52. 考核大纲52.1 考核管理计划52.1.1 概述52.2 考核细节52.2.1 项目1：初识数据采集52.2.2 项目2：分析网络数据报62.2.3 项目3：操作数据库82.2.4 项目4：制作慕课网首页92.2.5 项目5：抽取网页数据102.2.6 项目6：初识PythOn102.2.7 项目7：爬取网络数据122.2.8 项目8：爬取网络数据132.2.9 项目9：创建SPMngBoot项目132.2.10 项目10：项目实战：业务系统日志数据采集142.2.11 项目11：项目实战：数据库数据采集153. 课程考核办法错误!未定义书签。考评目的错误!未定义书签。考评内容错误!未定义书签。评分标准错误!未定义书签。1.培训目的1.1 培训目标为响应教育部开展1+X证书制度试点，探索建设职业教育国家学分银行的号召，探索大数据人才培养的新模式，储备大数据采集方向的实用人才，设计了该培训指导方案。经过培训，受训人员应获得以下几方面的知识、能力和素质：1、获得较好的工程实践训练，具备较强的动手能力和团队合作能力；2、具备较强的自学能力、创新能力和独立分析、解决一般工程问题的能力；3、掌握以下的工具和系统的使用：FiIeBeat、LogStash、PyCharm、MySQL、LinUx；4、掌握以下的语言和技术：Python,SQL,HTMLzJavaScript,CSS5、掌握XPath、正则表达式等常用的数据分解、验证等技术；6、对整个大数据采集技术体系有较深入的理解；2.考核大纲2.1 考核管理计划2.1.1 概述本培训主要让学生切身完成大数据采集全流程的学习与实践。通过本阶段的实训，学生可以充分的体验和理解的不同数据采集的方法，从而掌握针大数据开发项目所需数据采集的各种相关技术。培训采用理论教学+上机实践的方式，目标是培养学生实际动手能力，和理论结合实际解决问题的能力。2.2 考核细节2.2.1 项目1：初识数据采集Ns任务对应知识点掌握程度考核占比1任务1采集网址数据主要知识点包括：数据采集定义、数据应用价值、数据类型、数据采集范围，同时包括数据采集的具体流程和采集方法1、需要重点掌握数据采集的定义和特点，了解数据采集的应用价值。2、理解数据的类型（结构化、半结构化、非结构化）及典型示例。3、了解数据采集主要领域和范围。7%4、深入理解数据采集的三个环节（采集、清洗、存储），了解网络爬虫数据采集、日志数据采集的两种典型的数据采集场景。5、对于不同采集方法的适用性要有一定理解。2.2.2 项目2：分析网络数据报Na任务对应知识点掌握程度考核占比1任务1安装Wireshark主要知识点包括：计算机网络的概念及发展历史；计算机网络功能、计算机网络的分类;WireShark工具的了解和安装。1能够顺利安装Wireshark工具，并通过官网对WireShark工具功能有总体了解。2、了解计算机网络概念以及计算机的发展历史；了解不同代计算机的主要特点。3、重点掌握计算机网络的基本概念。4、了解计算机网络分类及分类标准；了解每种网络涵盖的典型网络定义、组网方式及其特点。2%任务2分析基础的网络数据主要知识点包括：网络协议的概念，OSI模型和TCP/IP模型；WireShark实现网络数据分的思路。1、理解网络协议定义，掌握其三要素。2、重点掌握OSl模型，及OSI模型每一层的含义、主要功能，及每一层的典型物理设备和相关协议。3、重点掌握TCP/IP模型,TCP/IP和OSl模型的对应关系,TCP/IP模型每一层的含义、功能，掌握每一层的主要协议及其作用4、了解RFC文件，掌握URl的结构和每一组成部分的含义5、熟练掌握使用Wireshark工具进行网络数据的抓取和分析的具体操作步骤，能够实现数据包的抓取，并能够识别和分析抓包数据。5%任务3分主要知识点包括：ARP和IP1、了解ARP概念、主要功能和2%析ARP和IP的主要含义、报文及功能点；使用Wireshark工具分析ARP和IPoARP的报文格式，及报文解析。2、掌握IP的概念、主要功能和IP的报文格式；掌握IP地址的分类及每类IP地址的组成特点；能够识别正确的IP地址3、掌握IP数据报的组成，数据报首部格式，及每一组成部分的规则特点和功能。4、熟练掌握使用Wireshark工具抓取ARP数据包和IP数据包，并能够分析抓取包数据的组成内容。任务4分析TCP主要知识点包括：TCP主要概念、TCP报文格式、三次握手；UDP主要概念和UDP报文格式；使用Wireshark工具分析TCP报文。1、掌握TCP含义、作用；了解TCP的工作过程。2、掌握TCP报文格式，每一组成部分的规则特点和功能；掌握TCP的数据报首部格式。3、理解TCP三次握手连接的原理，重点掌握TCP三次握手连接建立具体流程。4、掌握TCP和UDP的异同。5、了解UDP含义、作用。6、了解UDP数据报首部格式，及每一组成部分的规则特点和功能。7、熟练掌握使用Wireshark工具抓取TCP数据报,并能够分析TCP三次握手的报文。3%任务5分析HTTP主要知识点包括：HnP工作原理、请求报文和响应报文；使用Wireshark分析HTTP报文数据。1、理解和掌握HnP的工作流程。2、掌握HTTP请求报文结构和报文格式，以及报文内容解析。3、掌握HTTP响应报文结构和响应报文格式，以及报文内容解析。4、熟练使用Wireshark工具分析HTTP报文，能够设置过滤条件，获取HTTP数据包并进行分析。5%2.2.3 项目3：操作数据库Ns任务对应知识点掌握程度考核占比1任务1安装MySQL主要知识点包括：关系数据库的介绍、数据模型、SQL语言介绍、MySQL数据库特点及MySQL数据库的安装使用1、理解关系数据库概念，经典的数据模型；理解数据元素、数据元组、数据表、数据库、数据库系统的概念。2、掌握SQL语言的组成和主要命令，及命令的使用。3、了解MySQL数据库的特点。4、了解Windows下MySQL的安装和配置；重点掌握LinUX下MySQL数据库的安装部署、配置参数、起停服务等。4%2任务2创建数据库主要知识点包括：数据表创建、数据表结构查看、数据表修改、数据表删除、表数据维护操作。1、能够分析数据需求，对数据结构进行设计。2、掌握数据表的createtable创建语句。3、掌握showtables表结构查看语句。4、熟练掌握altertable语句，包括修改表名、表字段、字段类型、字段添加、字段删除等。5、熟练掌握dropIable语句。6、熟练掌握表数据的新增、修改、删除的SQL操作。2%3任务3查询数据主要知识点包括：select语法格式和使用，聚合函数如count>sum、avg>max>min等的语法结构和使用1、熟练掌握表的查询操作，包括基本数据查询、条件查询、多表连接查询、分组查询、排序、限制查询等。2、熟练掌握聚合函数的使用，对结果集进行统计，包括count>sum、avg>max、min函数的使用。5%4任务4创建索引主要知识点包括：索引功能概述、索引分类、索引创建和删除。1、了解索引的重要性和如何提高查询性能。2、了解主要的索引种类，包括普通索引、唯一索引、全文索引、多列索引等。3、了解索引的创建和删除的语法格式和熟练操作使用。2%2.2.4 项目4：制作慕课网首页Ns任务对应知识点掌握程度考核占比1任务1网页基础主要知识点包括：网页概述和HTML基础学习1、了解网页概念，及网页前端设计语言：HTML、CSS和JaVaSCript；了解网页的发展历史；掌握静态网页和动态网页的特点。2、了解HTML规范。3、深入理解HTML文档基本结构，以及每个标签的作用。4、熟练掌握和使用HTML的基本语法，包括签、元素、块级元素、内联元素及属性等。5、熟练掌握和使用HTML常用标签，掌握每个标签的功能作用。6、根据HTML基础,能够准确分析慕课网站首页布局并识别确定所使用的HTML标签。6%2任务2编写慕课网首页主要知识点包括：CSS3的简介、CSS3选择器、CSS3字体、CSS3文本、CSS3颜色和背景属性、盒子模型概念和position定位：使用html和CSS完成一个网页的制作。1、了解CSS3的作用和特点。2、了解CSS3标准格式：了解CSS3的选择器、盒子模型等。3、能够结合HTML基础和CSS基础，编码实现一个简单的慕课网页并利用CSS样式进行美化。2%3任务3设置慕课网首页交互主要知识点包括：JavaScript介绍和组成，JavaScript的基本语法、JavaScript的核心对象、jQue*y的简单使用；使用JavaScript实现与网页的交互。1、了解JavaScript的主要组成和发展历程。2、熟练掌握JaVaSeriPt的基本语法，包括语句和代码块、标识符、运算符、控制语句和常见函数，能够熟练操作使用语法进行编码。3、熟练掌握核心对象包含String对象、Math对象、Date对象、Airay对象，能够熟练操作这些核心对象进行编码。4、了解jQue的特点。5、熟练掌握jQue可选择器对HTML元素进行操作。6、熟练掌握和使用jQuery的4%DOM操作，实现对其元素的建、增、删、改、查等操作，掌握常用操作。7、能够利用JaVaSCriPt实现与网页的交互编码操作。2.2.5 项目5：抽取网页数据Na任务对应知识点掌握程度考核占比1任务1使用XPath提取网页数据主要知识点包括：XPath的定义、XPath具体安装、XPath基本语法；使用XPath提取网页数据。1>了解XPath的概念，了解IXmI组件库的主要模块。2、掌握Ixml库中HTML类基本语法格式和常用参数，熟练掌握和使用XPath常用匹配表达式、XPath谓语。4、能够构造截取信息的XPath,截取网页中所需要的代码段，并利用Python中的Ixml提取所需要的信息。6%2任务2使用正则表达式提取网页数据主要知识点包括：正则表达式概念、Python下正则模块功能方法、正则表达式的基本符合的使用；利