新闻资讯
部署BI系统的典型架构和关键技术
发布时间:2014-01-19 00:00:00 来源:畅享网

商业智能(BI)的部署已经成为2010年CIO关注的焦点。对于大型的企业来讲,由于过去已经部署了BI系统,随着业务的化需要对于现有的BI系统进行新的升级,过去的BI系统已经不能满足企业的需求,大型企业升级BI系统将成为下一个热点。

而对于中型或者小型的企业,在ERP等信息系统已经完善的情况下,近几年的数据积累已经让企业的产生大量的数据,如何有效的利用这些数据已经成为CIO及老板所要考虑的。

回顾过去,BI在企业中的应用,对于中小企业来讲, 部署应用 BI虽然可以参考过云大型企业的经验,但信息时代,以往过去的经验能否满足现在的的应用呢?显然,有些BI的应用已经过时,但我们部署BI的本质不会变,更多的为管理者,为业务人员提供决策的分析。

如果从战略的层度来考虑,CIO或者企业的老板更多的考虑的的投入产出比,也就是我们常说的的(ROI),不论是ERP也好还是BI,对于每一项系统的投入都需要有ROI,老板所要看到的是能够帮助我们解决哪些问题,需要花费多少费用。而CIO则更多的在有限的预算上完成达到老板的要求。

从技术层来讲, CIO不是万能的,对于任何一项技术都要有了解,BI如ERP一样,本身并不是技术,是一种提升管理的重要工具, CIO要了解的是这个工具的性能,使用效果以及如何应用好这个工具,而真正对于BI可操作的是技术经理、数据中心或者是IT经理人员。

我们知道虽然CIO更多关注的是业务层面的,但懂业务的同时更多的要了解技术,尤其是以现有的BI技术。只有了解其现有的技术发展架构,才能为未来BI的成功部署打好基础,让我们来看一下部署BI系统的典型架构和关键技术。

部署BI系统的典型架构和关键技术

1、数据源

数据是一个企业的生命之源,如果没有数据,企业将没有生存的持续根本。在我们日常的工作会产生大量的数据,比如我们的生产数据、财务数据,采购数据 外部数据等等,只有拥有了数据源,才能更多的被应用。如过去的ERP应用,一方面为了提升企业的管理,另一方面对于这些原始数据进行有效的管理。目前对于原始数据的管理更多是EXCEL管理或者是手工管理。

2、数据采集技术

当我们有了原始数据以后,需要对这些数据进行自动采集、统一加工、汇总,管理等几个阶段,也就数据采集(ETL),ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

目前三大主流ETL工具有:Datastage、Powercenter、Teradata ETL Automation

3、数据存储技术

当有了数据,对于数据采集以后,这些大量的数据需要进行有效的存储,数据存储在商业智能的部署应用阶段主要呈现以下的形式:

MOLTP :(Multidimensiona On-Line Analysis Processing) 多维数据组织的OLAP

MOLAP表示基于多维数据组织的OLAP实现(Multidimensional OLAP)。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成“立方块(Cube)”的结构,在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。

ROLAP: (RelationaL rolap)关系型联机分析处理

关系型联机分析处理(ROLAP)是联机分析处理(OLAP)的一种形式,它对存储在关系数据库(而非多维数据库)中的数据作动态多维分析。ROLAP是以关系型数据库为基础的,唯一特别之处在于联机分析处理中数据结构组织的方式。

资料显示从技术角度来说,ROLAP和MOLAP各有千秋。ROLAP基于关系型数据库,它的OLAP引擎就是将用户的OLAP操作,如上钻下钻过滤等,转换成SQL语句提交到数据库中执行,并且提供聚集导航功能,根据用户操作的维度和度量将SQL查询定位到最粗粒度的事实表上去。相比较而言,MOLAP事先将汇总数据计算好,存放在自己特定的多维数据库中,用户的OLAP操作可以直接映射到多维数据库的访问,无需通过SQL访问。

MDM:(_master Data Management ,MDM)主数据

主数据管理是指一组约束和方法用来保证一个企业内主题域和系统内相关数据以及跨主题域和系统的相关数据的实时性、含义和质量。这是从深层次来说来说明主动主数据管理(MDM)的深度和复杂性,简单的说,主数据管理(MDM)保证你的系统协调和重用通用、正确的业务数据(主数据)。

4、数据展现技术

基础的数据进行有效的整理之后,数据在分类、应用过程中得到有效、灵活的处理,但这些数据更多我的展示在“后台”,如何把“后台”的数据展现在“前台”让更多的用户了解BI。展现的对象主要是以多维分析应用、内网用户、应用用户、外部用户等等。如目前数据呈现的主要厂商有:ORACLE、SAP、SAS金蝶、用友、IBM。

BI在国内成功应用较少

商业智能虽然在国外已经有了良好的应用,但国内目前商业智能的应用水平并不是很高, 据统计国内应用BI的成功率只有三成,对于大多数的企业用户来讲,商业智能更多的处于报表阶段,为企业的老板、以及企业中层人员提供相应的报表,还没有实现其真正的“智能”。这一方面由于现有的BI服务商对于BI过于炒作,理论上已经达到智能的效果,但真正实现其智能,其其产品并不能满足企业用户的需求。

另一方面, 由于人员水平的限制, 不同人员对于BI的认识不同,老板总是觉得只要上了BI就可以达到任何想要做的事情,和过去ERP的“神化话”几乎相似,期望值过高也是导致国内BI成功率低的一个主要因素之一。

第三、现有的基础数据较差。 企业虽然积累了大量的数据,但这些数据经过几年时间的“流失”,其有效性值得考虑。另外,最初企业原始数据录质量也将直接影响到整个BI的应用效果 。

关于BI:

BI 商业智能也称作BI是英文单词Business Intelligence的缩写。商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商资料及来自企业所处行业和竞争对手的数据,以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。