您当前的位置:首页 > 解决方案 > 大数据方案

东方Hadoop®大数据平台

时间:2015-11-18 13:59:32    作者: jqsoft   浏览:

1.简介

东方Hadoop大数据平台(JingQi Hadoop® platform)基于开源的Apache Hadoop研发而成,新增加了两个软件库,以进一步提高可靠性、扩展性和分布计算。

东方Hadoop大数据平台新增的两个软件产品为:(1)面向石油勘探和开发的数据挖掘;(2)面向协同进化的数据流分析。这两个软件产品都支持使用简单的编程模型,实现跨计算机集群的大数据集分布式处理。设计支持从单台服务器扩展到机器,每台机器都能提供本地计算和存储。这两个软件产品自身都设计支持自动检测和处理应用层错误,而不仅依赖于硬件来实现高可用性,即使单点出现故障,也能保障在集群层面上提供高可用性服务。

这两个产品支持以下模块:

·  Hadoop Common: 支持其他Hadoop 模块的共用程序集。

·  Hadoop Distributed File System (HDFS™): 提供高通量访问应用数据的分布式文件系统。

·  Hadoop YARN: 提供任务调度和集群资源管理的框架。

·  Hadoop MapReduce: 基于YARN 的大数据并行计算系统。 

2.新闻

20151118日:东方Hadoop数据挖掘产品5.0发布!

东方面向石油勘探和开发的Hadoop数据挖掘产品包含了一些重大改进和提升:

·  Hadoop Common

o 密钥管理服务 (beta)

o 凭证提供服务 (beta)

·   Hadoop HDFS

o 异构存储层 阶段 2

        ·   异构存储应用接口

        ·   SSD存储层

        ·   内存存储层(beta)

o 支持归档存储

o 静态数据透明加密 (beta)

o 不需要Root权限即可操作安全数据节点。

o 热插拔驱动器: 支持增加/移除数据节点容量而无须重启数据节点 (beta)

o AES支持更快的线上加密

·   Hadoop YARN

YARN支持长期运行服务

       ·   应用的服务注册

o 支持滚动升级

      ·   ResourceManager重启后工作保留

      ·   NodeManager重启后容器保留

o 调度过程中支持节点标签

o Capacity Scheduler 支持基于时间的资源预留(beta)

o 应用全局、共享缓存 (beta)

o 支持在Docker 内本地运行应用(alpha)

20145月: 大数据分析产品成功整合Avro and HBase

基于HadoopAvroHBase的面向协同进化数据流的异常检测大数据平台研发成功完成。该项目已成为东方Hadoop项目中的佼佼者。

视频链接地址: http://v.youku.com/v_show/id_XMTg1MjgwNzA3Mg==.html

20138月:新的东方Hadoop子项目-面向协同进化数据流的异常检测开发完成

东方Hadoop平台越来越大!

·  面向协同进化数据流的异常检测基于Hadoop Common开发而成。

·  MapReduceHDFS已成功整合到项目中。

·  AvroChukwa已成功整合到项目中。

·  该项目已在澳大利亚皇家布里斯班妇科医院成功应用。

20087月:东方面向石油勘探和开发的数据挖掘Hadoop平台赢得Terabyte Sort Benchmark

·  东方Hadoop平台赢得Terabytes Award:东方面向石油勘探和开发的数据挖掘Hadoop平台在300秒内完成1TB的地震数据排序!

·  该项目已在澳大利亚必和必拓集团成功应用。

 

上一篇:返回列表

下一篇:Welcome to JingQi Hadoop®!