您的位置: 网界网 > 软件 > 正文

美国银行系统架构师:实时数据处理价值巨大

2011年11月16日 07:42:01 | 作者:Mark Brunelli | 来源:TechTarget中国 | 查看本文手机版

摘要:本文中,美国银行的企业信息架构执行官Ted Hills向我们介绍了实时数据处理的优势,并鼓励有相关需求的企业尽早从批量处理转为实时处理平台。

标签
美国银行
数据虚拟化
实时数据处理

美国银行的企业信息架构执行官Ted Hills说,数据管理专家应该放弃“批处理方式”,转而采用实时数据处理和分析。

在上周的Data Virtualization Day 活动中,Hills表示一般的企业每天通过在线事务处理、零售批发销售、市场活动等方式收集数据。但是,大多数情况下,通过夜间运行批量任务作业的方式来处理信息,这种方式在如今快节奏的业务环境中已经不能满足需求了。

Hills表示:“数据的价值只有在刚刚产生时才是最大的,而且在数据刚一产生就对它进行移动、处理和使用才是最有意义的。”

Hills是美国银行的信息架构评审委员会的领导,他开发过批处理系统也开发过实时系统。他说,实时数据处理改进了全球财务服务公司的业务运作方式。例如,公司使用实时数据处理来跟踪突发事件进程,确保距离突发事件疏散路径较近的ATM机里有足够现金。

Hills回想起曾经震撼了世界经济的次贷危机刚开始时的情景。人们都以为次贷危机开始于2008年,但是Hills记得2007年8月的两天,当时,破产的房地产开发商Merill-Lynch已经无法卖出贷款抵押保证金了。

“所发生的事情是,这些保证金和保证金相关物品已经以无法预料的速度跌价,”他说:“如果当时他们能意识到市场正在发生什么情况,而不是在那天结束才去拆借资金,他们就能更快做出反应,这样Merill-Lynch也不会被美国银行收购。”

采用实时数据处理的原因

从批处理方式到实时处理的转换是一个具有挑战的过程,也许需要投入巨大的精力,但这是值得的,Hills说 。

其中一个原因是技术方面的迫切性。技术已经进步到人们能在Amazon定一本书,并且在24小时之内可以送到家。人们能买一部新的电话并在几分钟之内给世界上任何一个地方打电话。人们可以在几秒钟之内从Comcast订购一部电影并在自己的电视上播放。

所以,为什么一个CIO[注]或CEO只能等到第二天才能看到自己组织里有价值的业务信息呢? Hills 说,这不行。

“我们技术人员已经帮助创建了一种文化,我们想立刻得到想要的信息,”他说:“我们应该期望一切信息都可以实时获取,因为技术已经可以让我们做到这样。”

实时数据处理也能最小化或完全排除“批处理瀑布”的机会。夜间运行的故障会引起瓶颈,导致更严重的延迟。这对需要处理不同时区业务的跨国集团尤其是个问题。

“如果这个故障没有被修复,而且批处理流程又很快被重启了,那么上一个批处理任务在第二天早上6点以前就不能完成,这样就会延迟24小时才能看到前一天的业务信息。”他说。

此外, Hills补充道,“夜间”的概念对如今的大部分业务没有太大意义。互联网上没有关门时间的概念,结果一天24小时都有有用的信息流进入组织。

克服实时数据处理的障碍

采用实时数据处理的一个最大障碍就是:大多数IT员工都熟悉批量处理方式,却很少有开发实时数据处理系统的技能和经验。

Hills认为(+本站微信networkworldweixin),让IT人员改变他们对实时处理的态度,需要特别强调“只要记录改变或产生事务就要处理数据”的需求。

“批处理的方式代表我下午6点就开始处理,”Hills说:“实时处理方式怎代表每个数据变化时我都会处理。”

缺少必要技能和经验的组织应该考虑招募能马上开始工作的外部顾问或新员工。他们的目标应该是为组织注入实时思想,Hills说。

缺少采购执行是另外一个大的障碍。Hills说,这是管理专家向公司高层销售实时系统的时候了。

“你需要跟执行官谈谈实时处理的需求,让他接受并告诉其他的人,”他说:“这就是一种文化变革,而且将组织的文化价值转化为:让人们知道批处理系统是很好,但实时系统有更高的价值。”

另外一个选择实时或近实时系统的很大障碍是,实时系统比批处理系统更贵。对于采用非实时架构或技能的组织,实时数据处理会需要一大笔初期投入,但是,从长期看来,这笔投入会值得。

“一旦经过了学习曲线,实时系统和批处理系统的成本实际上是相同的,” Hills说:“而且如果你已经认识到实时系统能比批处理系统带来更大的价值,因为它能更快的交付数据,那为什么还要构建批处理系统呢?”

参考资料

1.CIO:(Chief Information Officer),首席信息官,亦可称之为信息主管、信息总监等,是企业中信息化建设“统筹”人,是企业中不可或缺的高级主管职位之一,主要负责企业内部信息...详情>>

[责任编辑:软件频道 yu_xiang@cnw.com.cn]