电子商务中的商务智能.ppt
电子商务中的商务智能美孚公司的客户分析n美孚石油公司n毕马威 KPMGGuy Abramo概 要n商务智能n商务智能的结构n数据仓库nOLTP/OLAPn数据挖掘BI（Business Intelligence）商务智能，简称BI，指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动的过程。 商务智能系统 指利用计算机技术及信息技术，从商业数据中提取出与企业决策相关的信息的智能化的数据分析处理系统。n商务智能系统是一种为决策制定者提供决策支持的信息系统.n商务智能系统从基于基于计算机技术的决策支持技术发展而来国内学术界的观点BI实际上是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合，其主要目标是将企业所掌握的信息转换成竞争优势，提高企业决策能力、决策效率、决策准确性。国内产业界的观点商务智能是指一种能力：通过智能地使用企业的数据财产来制定更好的商务决策。 它的意思是说各种企业的决策人员以企业中的数据仓库(Data Warehouse)为本，经由各式各样的查询分析工具(Query/Report Tools)、联机分析处理(OLAP)工具、或是数据挖掘(Data Mining)工具加上决策规划人员的行业知识(Industry Knowledge)，从数据仓库中获得有利的信息，进而帮助企业提高获利，增加生产力与竞争力。 与BI相关的几个重要概念nBI（Business Intelligence，商务智能）nDW（Data Warehouse，数据仓库）nOLTP（Online Transaction Process）nOLAP（Online Analysis Process）nDM（Data Mining，数据挖掘）数据仓库（Data Warehouse 简称DW）是一个面向主题的、集成的、反映历史变化、非易失的数据集合。 “A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data in support of managements decision-making process.” W. H. Inman 数据仓库是实现商务智能的基础平台DW（Data Warehouse）Data WarehouseSubject-OrientednOrganized around major subjects, such as customer, product, sales.nFocusing on the modeling and analysis of data for decision makers, not on daily operations or transaction processing.nProvide a simple and concise view around particular subject issues by excluding data that are not useful in the decision support process.Data WarehouseIntegratednConstructed by integrating multiple, heterogeneous data sourcesqrelational databases, flat files, on-line transaction recordsnData cleaning and data integration techniques are applied.qEnsure consistency in naming conventions, encoding structures, attribute measures, etc. among different data sourcesqWhen data is moved to the warehouse, it is converted. Data WarehouseTime VariantnThe time horizon for the data warehouse is significantly longer than that of operational systems.qOperational database: current value data.qData warehouse data: provide information from a historical perspective (e.g., past 5-10 years)nEvery key structure in the data warehouseqContains an element of time, explicitly or implicitlyqBut the key of operational data may or may not contain “time element”.Data WarehouseNon-VolatilenA physically separate store of data transformed from the operational environment.nOperational update of data does not occur in the data warehouse environment.qDoes not require transaction processing, recovery, and concurrency control mechanismsqRequires only two operations in data accessing: ninitial loading of data and access of data.数据仓库 VS 数据库数据库系统（生产系统）： 面向应用、事务驱动的 实时性高 数据检索量少 只存当前数据数据仓库系统（决策系统）： 面向主题、分析和决策 实时性要求不是特别高 数据检索量大 存储大量的历史数据和当前数据 以银行为例储蓄 对公信用卡其他 数 据 仓 库客户产品渠道交易机构BI平台基本架构数据集成引擎数据集成引擎OLAP引擎引擎挖掘引擎（挖掘引擎（DM）业务数据库（业务数据库（OLTP）ETLDWArchitecture of Business Intelligence System(Won Kim, 1998 2nd Worldwide Computing and its Applications)数据数据信息信息知识知识利润利润OLAP 为满足基于大型数据库的复杂查询、决策分析等需求，弥补OLTP（On-Line Transaction Processing, 在线事务处理）在功能上的不足，90年代初出现了OLAP技术（E.F. Codd，1993），目前OLAP 已经成为大部分数据仓库的重要分析工具。 OLTP & OLAPnOLTP（Online Transaction Process）联机事务处理，是公司日常运营的基础，是业务流程信息化的关键，基于生产数据库。nOLAP（Online Analysis Process）联机分析处理，基于数据仓库的数据分析，以供决策所需，面向管理层，面向未来。q满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维资料分析工具的集合。A Sample Data Cube哈尔滨销售哈尔滨销售电视机的总量电视机的总量日期日期产品产品商店商店sumsum 电视机冰箱计算机1Qtr2Qtr3Qtr4Qtr哈尔滨南京北京上海OLTP vs. OLAPOLAP多维分析方法n上卷（roll-up)n下钻（drill-down)n切片（dice)n切块（slice)n旋转（rotate),旋轴（pivot） The MOLAP CubesaleprodIdstoreIdamtp1s112p2s111p1s350p2s28s1s2s3p11250p2118Fact table view:Multi-dimensional cube:dimensions = 23-D 立方体dimensions = 3Multi-dimensional cube:Fact table view:saleprodIdstoreIddateamtp1s1112p2s1111p1s3150p2s218p1s1244p1s224day 2s1s2s3p1444p2s1s2s3p11250p2118day 1 下钻上钻上钻、下钻day 2s1s2s3p1444p2s1s2s3p11250p2118day 1s1s2s3p156450p2118s1s2s3sum671250sump1110p219129. . .Example: computing sumss1s2s3*p156450110p211819*671250129扩展立方体day 2s1s2s3*p144448p2*44448s1s2s3*p1125062p211819*2385081day 1*sale(*,p2,*)切块切片day 2s1s2s3p1444p2s1s2s3p11250p2118day 1s1s2s3p11250p2118TIME = day 1切片 &旋转 数据挖掘DM（Data Mining）数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 Data mining (knowledge discovery from data) Extraction of interesting (non-trivial, implicit, previously unknown and potentially useful) patterns or knowledge from huge amount of data Fayyad, Piatetsky-Shapiro, Smyth, 96Why Data Mining?n数据库技术的发展qTo collect a large amount of data primitive file processingqTo store and query data efficiently DBMSn新的挑战:huge amount of data, how to analyze and understand?qData mining数据挖掘 VS 数据仓库n数据挖掘（Data Mining）与数据仓库（Data Warehouse）没有直接的联系n在大部分情况下，数据挖掘都要把数据从数据仓库中拿到数据挖掘库或数据集市中n为了数据挖掘你也不必非得建立一个数据仓库，数据仓库不是必须的 What Kind of Data?nRelational databasesnData warehousesnTransactional databasesnSpatial datanTime-seriesnSemi-structured data & WWWnStreaming datanBio-medical datanData Mining Applicationn商业 ：贷款.n网上购物：购买书籍. nWeb: Googlen政府:n毒品交易, 反恐怖n 医疗保险n职业病人.n科研n体育运动Problems Suitable for Data-Mining n基于知识的决策n具有变化的外部环境n具有可以使用的、充分的相关数据n正确的决策具有高的回报率DM（数据挖掘） VS OL
