晶奇 Hadoop 軟件包産品 (version 2008116)說明

（初始發布時間2008年12月，更新時間2016年10月）

晶奇Hadoop軟件包（簡稱JQH）是(shì)國際一流水平的一站式大數據平台，大數據分析準确率，計算時間，安全性均經過Apache評估和測試。擁有美國專利保護的面向圖分析，流數據，實時數據等九項大數據分析技術。其主要大數據分析算法2014年被美國工程院列爲全球排名前20的前瞻性算法[1]。 對于硬盤數據是(shì)一般Hadoop平台性能的10倍，對于内存數據是(shì)一般Hadoop平台性能的100倍。其主要核心技術，在數據安全技術，網絡安全技術，應用安全技術的基礎上，實現(xiàn)内存硬盤計算、高效檢索、高效實時查詢，高效知(zhī)識發現(xiàn)。

成功案例包括2008年澳大利亞最大石油勘探開發公司BHP Billionton，2013年澳大利亞昆士蘭州最大公立醫院皇家布裏斯本醫院手術室實時分析系統， 2016年中國甯波第一人民醫院。2008年至今，在中國大陸落地的大中小案例在50個以上。

産品的性能特點主要包括以下幾個方面：
(1) 軟件安全性
從物理層和惡意用戶意圖層兩個層面對客戶數據應用網絡進行加密。充分實現(xiàn)數據安全，應用安全，網絡安全。

(2) 算法時效性
能夠保證最快延遲0.02秒内完成同步，同時同步後的數據能夠立即進行實時分析，實時分析速度在硬件性能合理的情況下最快0.03秒内完成計算。

(3) 與數據采集硬件兼容性
-支持通用無線(xiàn)傳感網絡通信協議(yì)接口如COM3, ZigBee等，實現(xiàn)實時采集，實時計算。
-支持通用視頻(pín)，音頻(pín)接口如RLS等。實現(xiàn)實時采集，實時計算。
-支持通用爬蟲軟件。實現(xiàn)對網絡日志的實時采集，實時計算。

(4) 擴展性
支持通過虛拟化、雲或集群等方式擴展處理能力；
支持靈活的訪問控制和權限管理，如對數據庫、表、行、列等的管理權限。
支持多租戶管理，支持資源彈性共享和隔離(lí)性。

(5) 提升算法可視化
- 支持地理信息系統。
- 支持GPS相(xiàng)關可視化。
- 支持海量優化可視化。

(6) 支持語言及API開發包括
基于平台進行應用開發所采用的開發語言爲主流開發語言。支持WebService、JDBC、REST等常用的接口。支持SQL2003及以上， Python， Matlab， C,C++, C sharp, Virtual C， 兼容Oracle， 支持 Oracle PL/SQL存儲過程， 兼容DB2， 支持 DB2 SQLPL， Delphi， Java， Spark， R 語言， SPSS， Hanan HP， PHP。

(7) 支持操作包括
任何Join, Insert, Update, delete, merge into，分布式事務， OLAP。

(8) 優化指标
支持基于資源優化，支持基于算法優化，支持基于規則優化，支持基于成本優化。

(9) 軟件現(xiàn)實性
實現(xiàn)SQL與Oracle之間互訪，實現(xiàn)SQL與DB2之間互訪，SQL與MySQL之間互訪。

(10) 硬件優化
實現(xiàn)内存或SSD硬件加速。
實現(xiàn)利用内容或SSD的物理特性，進行存儲層結構設計優化。

(11) 可視化實現(xiàn)
實現(xiàn)OLAP Cube模型，支持建立物化Cube，根據事先定義的字段秒級聚合分析。
實現(xiàn)按任意字段秒級别靈活聚合分析，不需要預先創建物化Cube。

(12) 常規API實現(xiàn)
支持API提供第三方使用。

(13) 支持數據字典

(14) 查詢
實現(xiàn)關鍵詞搜索。
實現(xiàn)自然語言查詢。
實現(xiàn)垂直語義查詢。
對PB級海量數據，利用Skyline技術實現(xiàn)精準查詢，最快在0.02秒以内實現(xiàn)。
實現(xiàn)對任意字段組合查詢綜合搜索

(15) 擴展性
從KB級到PB級數據均有很好的擴展性。對PB以上級數據，算法複雜(zá)性保持在線(xiàn)性遞增。支持增量算法，梗概算法，在保持一定準确性的基礎上，可将算法複雜(zá)性降爲線(xiàn)性以下。即支持從小到大，也支持從大到小。支持對大量小文件的自動合并，支持對小文件的高效計算。

(16) 數據挖掘組件算法支持
包括九項美國專利支持的算法：-支持向量遞歸算法，模糊關聯分析算法，面向流數據的動态博弈論算法，支持圖分析的深度學習算法，支持面向大型網絡圖的PCA算法，支持網絡日志數據的推薦算法，支持金融大數據的異常檢測算法，支持銷售數據分析的數學規劃算法，支持普通宏微觀經濟的矩陣算法，一般均衡算法，會計核算算法，支持通用統計算法。
通用分類聚類算法包括
- 支持向量機
- 分布式apiori/fp-growth算法
- 分布式k-means/層次聚類算法
- 分布式svm算法
- 分布式神經網絡算法
- 回歸算法
- 分布式随機森林算法
- 分布式協同過濾算法
- 時間序列算法
- 分布式決策樹(shù)
- 分布式樸素貝葉斯算法
- 分布式梯度提升樹(shù)

軟件的功能特點主要包括以下幾個方面：
（1）開放(fàng)性 
平台開放(fàng)性。
對接接口開放(fàng)性。

（2）兼容性
兼容主流的Linux操作系統。
兼容通用服務器。

（3）性能
統計分析。平均每個CPU core至少每秒1000萬記錄的掃描速度，至少每秒100萬記錄的聚合速度。
高并發查詢能力。按關鍵字檢索單表記錄延時小于200ms，單個節點并發度超過1000；按關鍵字檢索多表關聯記錄延時小于1s， 單個節點并發度超過1000；多表關聯檢索并彙總統計延時小于1s， 單個節點并發度超過100。
流處理能力。萬兆網絡下，單節點不低于200MB/s的處理吞吐能力，簡單業務處理延時毫秒級。

（4）高可用性
平台可靠性。
故障處理。
異地備份。支持分布式數據庫表異地遠程複制，支持雙向複制，實現(xiàn)異地災備。

（5）安全性管理
完整多租戶策略支持。
Hive權限控制。
HBase權限控制。支持完整的數據權限管控，支持單元格級别的訪問權限控制。
數據挖掘權限控制
流權限控制

（6）運維管理易用性
運維監控。
自定義告警。

（7）平台在線(xiàn)擴容開發易用性
大數據平台軟件支持便捷的圖形化開發調試輔助工具。
方便的進行數據探索與數據挖掘建模。
支持分布式數據倉庫，NoSQL數據庫，綜合搜索，數據分析和挖掘以及流處理能力。 

1. Jing He, Xiaohui Liu, Guangyan Huang, Michael Blumenstein, Clement Leung, Current and Future Use of Big Data In Commonwealth Countries, Vol. 44, Number 4, Winter 2014, Pages: 38-45, The Bridge- National Academy of Engineering of the National Academies, U. S. A. 

上一篇：Welcome to JingQi Hadoop®!

下一篇：返回列表