晶奇Hadoop®大數據平台

晶奇Hadoop大數據平台（JingQi Hadoop® platform）基于開源的Apache Hadoop研發而成，新增加了兩個軟件庫，以進一步提高可靠性、擴展性和分布計算。

晶奇Hadoop大數據平台新增的兩個軟件産品爲：（1）面向石油勘探和開發的數據挖掘；（2）面向協同進化的數據流分析。這兩個軟件産品都支持使用簡單的編程模型，實現(xiàn)跨計算機集群的大數據集分布式處理。設計支持從單台服務器擴展到機器，每台機器都能提供本地計算和存儲。這兩個軟件産品自身都設計支持自動檢測和處理應用層錯誤，而不僅依賴于硬件來實現(xiàn)高可用性，即使單點出現(xiàn)故障，也能保障在集群層面上提供高可用性服務。

這兩個産品支持以下模塊：

·  Hadoop Common: 支持其他Hadoop 模塊的共用程序集。

·  Hadoop Distributed File System (HDFS™): 提供高通量訪問應用數據的分布式文件系統。

·  Hadoop YARN: 提供任務調度和集群資源管理的框架。

·  Hadoop MapReduce: 基于YARN 的大數據并行計算系統。 

2.新聞

2015年11月18日：晶奇Hadoop數據挖掘産品5.0發布！

晶奇面向石油勘探和開發的Hadoop數據挖掘産品包含了一些重大改進和提升：

·  Hadoop Common

o 密鑰管理服務 (beta)

o 憑證提供服務 (beta)

·   Hadoop HDFS

o 異構存儲層 – 階段 2

        ·   異構存儲應用接口

        ·   SSD存儲層

        ·   内存存儲層(beta)

o 支持歸檔存儲

o 靜态數據透明加密 (beta)

o 不需要Root權限即可操作安全數據節點。

o 熱插拔驅動器: 支持增加/移除數據節點容量而無須重啓數據節點 (beta)

o AES支持更快的線(xiàn)上加密

·   Hadoop YARN

o YARN支持長期運行服務

       ·   應用的服務注冊

o 支持滾動升級

      ·   ResourceManager重啓後工作保留

      ·   NodeManager重啓後容器保留

o 調度過程中支持節點标簽

o Capacity Scheduler 支持基于時間的資源預留(beta)

o 應用全局、共享緩存 (beta)

o 支持在Docker 内本地運行應用(alpha)

2014年5月： 大數據分析産品成功整合Avro and HBase

基于Hadoop的Avro和HBase的面向協同進化數據流的異常檢測大數據平台研發成功完成。該項目已成爲晶奇Hadoop項目中的佼佼者。

視頻(pín)鏈接地址： http://v.youku.com/v_show/id_XMTg1MjgwNzA3Mg==.html

2013年8月：新的晶奇Hadoop子項目-面向協同進化數據流的異常檢測開發完成

晶奇Hadoop平台越來越大！

·  面向協同進化數據流的異常檢測基于Hadoop Common開發而成。

·  MapReduce和HDFS已成功整合到項目中。

·  Avro和Chukwa已成功整合到項目中。

·  該項目已在澳大利亞皇家布裏斯班婦科醫院成功應用。

2008年7月：晶奇面向石油勘探和開發的數據挖掘Hadoop平台赢得Terabyte Sort Benchmark

·  晶奇Hadoop平台赢得Terabytes Award：晶奇面向石油勘探和開發的數據挖掘Hadoop平台在300秒内完成1TB的地震數據排序！

·  該項目已在澳大利亞必和必拓集團成功應用。