hadoop安裝包是非常實用的系統(tǒng)分布式架構(gòu)軟件，使用它你可以在零基礎的條件下開發(fā)分布式程序，簡單快捷，是工作上不可多得的好幫手！感興趣的小伙伴快來體驗吧！

hadoop軟件內(nèi)容介紹

hadoop原本來自于谷歌名為mapreduce的編程模型包。谷歌的mapreduce框架可以把一個應用程序分解為許多并行計算指令，跨大量的計算節(jié)點運行非常巨大的數(shù)據(jù)集。使用該框架的一個典型例子就是在網(wǎng)絡數(shù)據(jù)上運行的搜索算法。

hadoop最初只與網(wǎng)頁索引有關，迅速發(fā)展成為分析大數(shù)據(jù)的領先平臺。

功能特色

1、高可靠性。

hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

2、高擴展性。

hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。

3、高效性。

hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非常快。

4、高容錯性。

hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務重新分配。

5、低成本。

與一體機、商用數(shù)據(jù)倉庫以及qlikview、yonghongz-suite等數(shù)據(jù)集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。

優(yōu)勢亮點

一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。hadoop以一種可靠、高效、可伸縮的方式進行數(shù)據(jù)處理。

可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。

是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。

可伸縮的，能夠處理pb級數(shù)據(jù)。

hadoop依賴于社區(qū)服務，因此它的成本比較低，任何人都可以使用。

一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺。用戶可以輕松地在hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應用程序。

核心架構(gòu)

hadoop由許多元素構(gòu)成。其最底部是hadoopdistributedfilesystem（hdfs），它存儲hadoop集群中所有存儲節(jié)點上的文件。hdfs（對于本文）的上一層是mapreduce引擎，該引擎由jobtrackers和tasktrackers組成。通過對hadoop分布式計算平臺最核心的分布式文件系統(tǒng)hdfs、mapreduce處理過程，以及數(shù)據(jù)倉庫工具hive和分布式數(shù)據(jù)庫hbase的介紹，基本涵蓋了hadoop分布式平臺的所有技術核心。

信息安全

1、先下手為強!在規(guī)劃部署階段就確定數(shù)據(jù)的隱私保護策略，最好是在將數(shù)據(jù)放入到hadoop之前就確定好保護策略。

2、確定哪些數(shù)據(jù)屬于企業(yè)的敏感數(shù)據(jù)。根據(jù)公司的隱私保護政策，以及相關的行業(yè)法規(guī)和政府規(guī)章來綜合確定。

3、及時發(fā)現(xiàn)敏感數(shù)據(jù)是否暴露在外，或者是否導入到hadoop中。

4、搜集信息并決定是否暴露出安全風險。

5、確定商業(yè)分析是否需要訪問真實數(shù)據(jù)，或者確定是否可以使用這些敏感數(shù)據(jù)。然后，選擇合適的加密技術。如果有任何疑問，對其進行加密隱藏處理，同時提供最安全的加密技術和靈活的應對策略，以適應未來需求的發(fā)展。

6、確保數(shù)據(jù)保護方案同時采用了隱藏和加密技術，尤其是如果我們需要將敏感數(shù)據(jù)在hadoop中保持獨立的話。

7、確保數(shù)據(jù)保護方案適用于所有的數(shù)據(jù)文件，以保存在數(shù)據(jù)匯總中實現(xiàn)數(shù)據(jù)分析的準確性。

8、確定是否需要為特定的數(shù)據(jù)集量身定制保護方案，并考慮將hadoop的目錄分成較小的更為安全的組。

9、確保選擇的加密解決方案可與公司的訪問控制技術互操作，允許不同用戶可以有選擇性地訪問hadoop集群中的數(shù)據(jù)。

10、確保需要加密的時候有合適的技術(比如java、pig等)可被部署并支持無縫解密和快速訪問數(shù)據(jù)。