恒华内存计算数据库系统
一、背景
信息的爆炸式增长和对于信息的实时处理能力始终是矛盾的。当希望从海量数据中快速获得所需要的信息时候,企业对信息系统的这种对海量数据的实时处理能力的需求,在过去从来没有如此之强烈和迫切。而此时信息系统所不可避免的遇到的性能问题就成为企业迫在眉睫需要解决的重大挑战。数据量越来越大,运算越来越复杂,响应时间要求越来越短,而性能却越来越慢,用户体验越来越差。可以说,很多应用系统的核心性能问题都直接或间接地反映在磁盘I/O的瓶颈上。
二、传统数据管理的缺陷
l通过垂直扩展--数据库分区:分库、分表来进行大表的数据处理
l通过垂直扩展--增加内存、CPU等单机物理资源来提升传统数据库服务器的性能
l通过应用服务器的有限Cache机制来提升数据的访问响应性能
l通过blob、text、xml等数据定义类型管理非结构化的数据
以上手段都不能从根本上解决现代应用所涉及的大数据、实时数据、数据扩展、灵活数据(结构化、半结构化和非结构化数据)的管理要求
垂直扩展容易实施,但会导致以下问题:
Capacity limitations
Cost
Vendor lock-in
三、恒华内存计算数据库
四、恒华内存计算数据库功能特性:
支持复杂对象
数据在内存中,低延时
无中断的弹性增长
活跃数据的分区
数据多拷贝冗余
活跃数据的共置
主数据复制(Key数据在每个机器上)
超快的共置数据事务
支持分布式的事务
在服务器端事件监听
客户端事件订阅
并行的 MapReduce 功能执行
并行的OQL查询
连续查询
LRU(最近最少使用)的数据溢出到磁盘,
以原生格式保存,便于快速检索
并行的、无共享的持久化到磁盘,在线备份
同步、异步的透读透写
跨广域网的单向、双向的集群同步
五、恒华内存计算数据库特点:
GemFire是一个基于内存、具有横向无限扩展能力的、分布式数据管理平台。其内存处理、数据分割(Data-partition)和并行计算(Map-Reduce)能力使得传统应用的性能能得到数倍到几百倍的提升,同时具有系统、应用和数据的高可用性。
l 把数据移动中间层
更靠近需要它的地方
l 伸缩性
易于适应更多的应用用户
l 高性能
所有计算操作都在内存,极大提高性能
l 数据可靠性
多个数据备份
数据自动同步
数据可以写入磁盘(数据库)直写或是后写
l 跨地域分布
通过WAN连接
六、恒华内存计算数据库产品的竞争优势
七、恒华内存计算数据库应用场景
根据恒华内存计算数据库的特点,推荐适用的场景为:
(1) 实时性要求高的系统: 性能一般可以提升几十到上百倍,响应时间从秒级到毫秒级(OLTP),或从小时到分钟级别(OLAP);如12306网站
(2) 高并发访问: 在几千到上万的高并发访问下,利用Gemfire可以使得OLTP应用响应时间缩减到2秒以内;如交通银行大运营平台-任务流转管理系统
(3) 运算复杂的批处理: 例如日本某银行的对账批处理系统通过优化从2小时左右缩减到1分钟;山东SCCBA数整平台的ETL时间从40-50分钟优化到2分钟左右。
(4) 多数据中心跨网关的数据一致性,例如美国某银行的全球外汇交易系统,利用Gemfire的Gateway机制实现了纽约、东京、伦敦三地数据的实时同步。此特性尤其适用于国内大型金融机构在各地的数据分中心的数据交互同步问题。