大数据基础走进大数据第一章数据时代从我开始.ppt
第一章 数据时代，从我开始第一篇第一篇 数据引领时代，初识大数据数据引领时代，初识大数据1.1 从韩信点兵说起从韩信点兵说起相传汉高祖刘邦问大将军韩信统御兵士多少，韩信答说，每3人一列余2人、5人一列余3人、7人一列余2人、13人一列余6人刘邦茫然而不知其数。举例：假设兵士不满一万，每5人一列、9人一列、13人一列、17人一列都剩3人，则兵士有多少？首先，求出5、9、13、17之最小公倍数为9945（注：因为5、9、13、17为两两互质的整数，故其最小公倍数为这些数的积），然后再加3，得9948人。大数据到底有多大？大数据到底有多大？常见的数据单位有bit（比特）、Byte（字节）、KB（千字节）、MB（兆字节）、GB（吉字节）。那GB以上还有什么？GB以上还有TB、PB、EB、ZB、YB、DB、NB。1Byte=8bit1KB=1024Bytes1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB1YB=1024ZB1DB=1024YB1NB=1024DB1NB =1267650600228229401496703205376 Bytes1NB =1267650600228229401496703205376 Bytes1.1 从韩信点兵说起从韩信点兵说起大数据又称为海量数据，是指所涉及的数据量规模巨大到无法通过人工或者计算机，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。维基百科Gartner麦肯锡全球研究所大数据的定义大数据的定义1.1 从韩信点兵说起从韩信点兵说起大数据的发展大数据的发展2005年年Hadoop项目项目诞生诞生2009年印度政府建立年印度政府建立了用于身份识别管理了用于身份识别管理的生物识别数据库的生物识别数据库2011年年2月，月，IBM的沃森的沃森超级计算机每秒可扫描超级计算机每秒可扫描并分析并分析4TB（约（约2亿页文亿页文字量）的数据量字量）的数据量2012年年大大数据，大影响数据，大影响（Big DataBig Data，Big Impact）宣称）宣称20172017年全球的数据总量为年全球的数据总量为21.6ZB（1个个ZB等于十万亿亿字等于十万亿亿字节）节）大数据的特征大数据的特征4V特征体量大价值密度低多样化速度快1.1 从韩信点兵说起从韩信点兵说起1.2 大数据从哪里来大数据从哪里来根据数据来源不同，大数据可以分为三类：（1）人类活动，人在使用互联网（包括移动互联网）过程中所产生的各类数据；（2）计算机及各种计算机信息系统产生的数据，多以文件、数据库、多媒体等形式存在；（3）物理世界，各类数字设备所采集的数据，如气象系统采集设备所收集的海量气象数据、视频监控系统产生的海量视频数据等。现代社会大数据产生的标志现代社会大数据产生的标志1、科学研究科学研究产生大数据产生大数据2、物联网物联网技术产生大数据技术产生大数据3、网络化网络化产生大数据。产生大数据。1.2 大数据从哪里来大数据从哪里来阿里指数阿里指数1.3 大数据能做什么大数据能做什么 朋友圈的广告推荐功能朋友圈的广告推荐功能在微信广告推销的作用下，我们都能深深感受到大数据时代的到来。在微信广告推销的作用下，我们都能深深感受到大数据时代的到来。1.3 大数据能做什么大数据能做什么（1 1）新一代信息技术融合应用的结点在于对大数据的处理分析）新一代信息技术融合应用的结点在于对大数据的处理分析（2 2）大数据成为信息产业不断发展的新途径）大数据成为信息产业不断发展的新途径（3 3）大数据成为提升核心竞争力的关键因素）大数据成为提升核心竞争力的关键因素（4 4）大数据时代相应的科学研究方法也会出现相应变化）大数据时代相应的科学研究方法也会出现相应变化大数据作用大数据作用1.4 大数据平台初识大数据平台初识 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 1.4 大数据平台初识大数据平台初识大数据采集u 系统日志采集系统日志采集u 网络数据采集网络数据采集u 数据库采集数据库采集数据采集处于大数据生命周期中第一个环节，它通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。1.4 大数据平台初识大数据平台初识大数据存储传统的存储解决方案能提供数据的可靠性和绝对的安全性，但是面对海量的数据及其各种不同的需求，传统的解决方案日益面临越来越多的问难，如数据量的指数级增长对不断扩容的存储空间提出要求，实时分析海量的数据对存储计算能力提出要求。1、传统的存储解决方案正在改变，如多级存储来不断适应大数据存储管理系统的特点和要求2、全新的存储解决方案正日渐成熟，来有效满足大数据的发展需求。1.4 大数据平台初识大数据平台初识大数据分析 管理大数据的一个重点是大数据分析，另一个需要重点考虑的是未来的数据增长。实用的大数据存储管理系统应该是可扩展的，足以满足未来的存储需求。 公司一般寻找云计算服务来进行存储和管理海量数据而不被供应商锁定，进而确保把握数据所有权。EMCGreenplum大数据管理分析大数据管理分析1.4 大数据平台初识大数据平台初识大数据处理大数据的意义不在于掌握多大量级的数据信息，而在于如何处理这些数据信息得到想要的结果。也就是说，大数据价值的关键在于对于数据的“加工能力”，对数据进行深度挖掘，可以解决实际问题，实现其价值。类类 别别代表性例子代表性例子平台平台本地云本地云Hadoop, MapMapR, C Cloudera, Hortonworks, InfoSphere BigInsights, ASTERIXAWSAWS, Google compute Engine, Azure数据库数据库SQLSQLN NoSQLNewSQLGreenplum, Aster Data, VerticaHBase, Cassandra, MongoDB, RedisSpanner, MegaStore, F1数据仓库数据仓库HiveHive，HadoopDBHadoopDB，HadapHadapt数据处理数据处理批处理流批处理流处理处理MapMapReduce, DryadS Storm, S4, Kafka查询语言查询语言 H HiveQL, PigLatin, DryadLINQ, MRQL, SCOPE统计分析机统计分析机器学习器学习 M Mahout, Weka, R日志处理日志处理 S Splunk, Loggly1.4 大数据平台初识大数据平台初识大数据可视化 大数据可视化应有适当地交互性，必须设计良好、易于使用、易于理解，才能更容易被人接受。 可视化方法可通过创建表格、图标、图像等直观地表示数据。大数据可视化并不是传统的小数据集。在大规模数据可视化中，许多研究人员用特征提取和几何建模可在实际数据呈现之前大大减少数据量的大小
