勤快学

【内附PPT链接】高瞻远瞩,Pivotal大数据路演精彩回顾

Pivotal  标签:PPT  Pivotal    发布于:2017年04月10日


在这阳光明媚、大地回春的时节,Pivotal 2017大数据路演于3月30日如约在上海开启了新的技术进阶之旅。 


作为Pivotal全球的年度会议, 此次大数据路演凸显了Pivotal打造数据驱动型企业、加快数字化转型的品牌发展战略。 


会上, 来自国内外的技术大咖们全方位解读了大数据产品的最新发展路线与技术趋势,特邀的行业专家以丰富的个案与参会人员分享了最新的技术实践和经验分享。



兼顾当下与未来,打造数据驱动型企业

“在 Pivotal,我们的使命是改变世界构建软件的方式,其重点之一就是数据处理。不论是管理数据、分析数据或与应用程序连接,数据套件都有需要的工具帮助你加速数字化转型。 我们带给客户的不仅是软件,更是一套方法论。一大批世界知名企业都在使用Pivotal的方法论与软件进行数字化转型。” 



Pivotal研发中心总经理冯雷在开场致辞中讲到:“企业数字化的程度是不一样的,有一批企业已经有很强的数据,我们聚焦在这些企业上面,因为数据套件实现它的商业洞察,整个商业核心竞争力是竞争,聚焦在这个行业的商业洞察上面。”

 

 

掌控数据洪流,实现数字化转型

企业若想提高利润,向数据驱动的方向转型则是重中之重。 Pivotal对此拥有一套专业理念。 Pivotal中国区大数据技术总监程良指出,成为数据驱动型的企业不仅要对获得的数据存储并管理和使用,企业还要具有对业务洞察的深入化和业务运营的智能化。


Pivotal建议的数据驱动型企业参考架构

 

现在全球很多传统企业都在做数字化转型,而转型过程中非常核心的竞争力就是软件。


为了帮助企业实现、支撑客户的数字化转型、业务运营的智能化, Pivotal利用Cloud Foundry的PaaS平台使企业云化,实现最新数据库的集成。也是因为这个,2016年Pivotal被Google选择为2016年最佳合作伙伴,专注于应用开发和数据方面, 今年在数据方面也将会有更多的进展。

 

Pivotal在应用开发、在数据、在分析这些领域都有自己的一些产品,包括一些组件。我们是希望企业通过三个方面的快速迭代和循环,通过分析的业务洞察的结果,能够快速迭代,去支持下一版应用开发。

 

 

Greenplum,开源大数据引擎

“Greenplum的诞生完全是顺应市场需求的,它对客户的反馈、对市场的反馈非常快速敏捷,同时相比于共享存储的Oracle,它的性价比更高。” 专程从美国来参加会议的 Pivotal Greenplun 研发产品的全球负责人Ivan Novick与大家分享了Greenplum 的产品最新规划。


Ivan表示:Greenplum在最初设计时,就选用了基于开源的PostgreSQL,因此它更适合企业级用户。而随着PostgreSQL的发展,Greenplum也加入了很多新功能,包括:用来连接主节点和计算节点的新的分发器;GPORCA最新的查询优化器;满足高并发要求的新一代资源管理器Linux等等。可见,新的Greenplum拥有强大的功能,例如:重组节点可以互相备份,其节点可以线性扩展; Greenplum也支持不同的扩展语言。

 

 “在PostgreSQL社区里面,我们曾坚信一点, PostgreSQL这只大象总是会插上翅膀重新飞起来。”来自阿里云的产品专家萧少聪谈到:“相信随着今年PostgreSQL10.1 版本的推出,技术层面会有更大的飞跃。 Greenplum重新开源,让阿里云得到了十分好的开源的OLAP的MPP数据库, 阿里在过去两年多里,已经推出多款基于PostgreSQL 产品。我们其实已经有非常多的案例,基于Greenplum的Database。

 

Ivan Novick介绍,Pivotal所有的产品都是采用敏捷开发、极限编程,基本上所有产品的测试覆盖率都达到90%以上此外,产品迭代周期非常短,以Greenplum为例,去年就有10个新版本发布,还不包括一些新的组件的发布。尽管一年发布10个小版本,已经获得了很好的客户反馈,但我们从今年开始,会每年发布一个大版本, 把产品做得更好,提高满意度、更加符合客户的需求是我们的目标。

 

来自Gartner的数据库报告,在数据仓库领域,Greenplum现在是排第五位,Top 5,前面都是非常大的一些公司,如:Oracle、IBM、微软等,由此可见,Greenplum的进步得非常快。Ivan Novick提到,未来Greenplum的工作重点将放在版本升级、集群复制和备份恢复上。

 

 

GemFire, 水平扩展您的 NoSQL 应用程序

来自Gartner的定义,GemFire属于内存数据网络,它首先基于内存,其次具有横向扩展能力,并且可以进行在线的并行计算(即高性能计算)。 因此,GemFire可以使传统应用的性能得到高至上百倍的提升,而且这种提升不仅在于其响应时间,还在于其承载的高并发量。

 

GemFire 架构概览


此外,GemFire还可以自动完成转化、保证数据持久化、支持多数据中心的建设。Pivotal中国区资深大数据架构师闫钢还向我们说明了GemFire的集群,GemFire的整体框架。他指出了GemFire和它的开源兄弟Apache Geode之间的关系——“从代码和核心功能来讲,而者完全没有区别。但GemFire更适合支持作为企业的数据总线来打通各个应用之间的数据隔离。


GemFire在应对下一代企业应用时所需要面对的新设备和新应用需求、云基础架构的需求以及企业应用要适应目前市场所进行的微服务或云原生改造。”

 

随着互联网金融企业的涌现,以及同业产品的更新层出不穷,对传统型银行带来了非常大的压力和挑战。来自交通银行的项目经理孙博先生分享了交行在电子渠道商应用GemFire的实践经验。


交行本身的软件和系统运行周期、更新时间都比较长,因此产生了系统整体升级改造的需求。由于银行后台系统庞杂,因此引入高性能的缓存系统GemFire来做一个汇聚以解决问题。他向我们详细说明了GemFire在交行应用的过程以及GemFire自身优势带来的好处:


  1. 它是一个缓存,它相当于一个屏障的作用,能够缓解我们DB2数据库的压力。我们现在DB2并没有舍弃,DB2是应用在一些关键的交易方面。

  2. GemFire作为一个基于内存的产品,它具有自身性能的优势,它具有横向的扩展性。

  3. 它可以进行多渠道的共享, 而且它透明度很高,就是前台的一些系统去访问我们GemFire,不需要特别关心我们内部的数据的加载逻辑。

  4. GemFire是一个分布式的、查询性能很高、运行性能很稳定的产品。它系统的性能随着集群的横向扩展有一个线性的增长。

  5. 它可以完美的兼容JAVA的环境。

 

随着企业对应用、云服务和微服务的需求不断提高,下一代的数据服务需要哪些功能呢?下一代企业应用需要面对哪些需求呢?


  1. 需要面对新设备和新应用的需求。

  2. 企业应用需要面对基于云基础架构的需求,这样就要求我们的企业应用可以多站点部署、多云部署。

  3. 我们企业应用要适应目前整个市场的潮流,进行微服务或者云原生应用的改造,也需要数据是分布式的、可延展的情况。

 

 

大数据时代,寻找数据科学家

在数据库里面,特别是GPDB是非常擅长于处理各种结构化的数据,MPP的方式是可以高效的处理结构化数据。但是对于半结构化的或者是纯文本的数据,它有搜索需求,这种处理就不是那么高效。Pivotal中国研发中心GPText研发经理杨瑜为大家分享了GPText目前的现状和它的实现原理。“在现有的GPDB里面,这种数据的处理我们可能需要经过全面扫描。“怎样才能在毫秒级得到查询的请求,从数据里面包含某个字段或者包含当前一个名称,把这些记录给导出来。所以我们做了GPText数据库的扩展”。

 

Pivotal的很多产品,如Greenplum、GemFire,我们要把这些应用整合在一起,打造一个很好的服务。同时我们还有很好的服务团队,叫做数据科学家团队,可以协助我们客户在既有的数据里面找出新的应用,找出新的方法。

 

Pivotal的产品可以帮助客户收集很多东西,存放结构化的、非结构化的一些数据。同时我们可以协助客户很快的做分析,把这些得到的结果快速的做报表、做统计应用,同时可以协助我们客户做开发。我们下一步要做一些智能app的开发,可以利用这样的资讯去做一些事情。我们还可以协助客户去创新。

 

Pivotal大数据资深解决方案架构师邱垂吉说到:“历史总是重复的”,数据科学家就是要怎么从结构化、非结构化的数据里面找到相同的模式,进一步通过这些相同的模式、通过精准算法找出结果。 

 

 

Greenplum最佳实践

Greenplum在实际大数据生产环境中所担任的角色,曾经有人说过:学会用Greenplum不难,但要用好Greenplum就要下一番苦工。 


Pivotal大数据架构师陈淼结合项目实践,对Greenplum运维常见问题, 日常检查和故障处理做了详解。 他讲到了内核参数,列出了比较常用的可能涉及到需要修改数据库的参数,根据现场出现的技术问题,根据最佳实践给出了解决方案。同时,他还谈到镜像策略,统计信息收集以做到精确控制。对于age监控和管理,陈淼建议对整个集群的所有age进行最大值的取样,以助于看到所有节点的情况。他就Database主要讲了其使用对象情况和物理模型。此外还细分讲解了分区表、索引、临时空间、OM等问题。 


本次路演活动更深入的干货内容以及演讲视频,将在公众号陆续发布。敬请关注!

点击阅读原文,下载会议PPT。

↓↓↓ 

上一篇:cloud-init 典型应用 - 每天5分钟玩转 OpenStack(174)

下一篇:【吐血推荐】Android 开源项目列表,赶紧收藏吧!