隨著我們業(yè)務(wù)數(shù)據(jù)量越來越大，在一個(gè)操作系統(tǒng)管轄的范圍內(nèi)存不下了，那么就需要分配到更多的操作系統(tǒng)管理的磁盤中。但是這給我們帶來的一個(gè)問題就是，更多的操作系統(tǒng)非常不方便集中管理和維護(hù)。這時(shí)迫切需要一種系統(tǒng)來管理多臺(tái)機(jī)器上的文件，這就產(chǎn)生了分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。

HDFS(Hadoop Distributed File System)，它是一個(gè)分布式文件管理系統(tǒng)。一是，用于存儲(chǔ)文件，通過目錄樹來定位文件;其次，它是分布式的，由很多服務(wù)器聯(lián)合起來實(shí)現(xiàn)其功能，并且集群中的服務(wù)器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。HDFS的設(shè)計(jì)適合一次寫入，多次讀出的場(chǎng)景，但不支持文件的修改。HDFS適合用來做數(shù)據(jù)分析，并不適合用來做網(wǎng)盤應(yīng)用。

下面我們來看下HDFS的優(yōu)缺點(diǎn)吧。

HDFS優(yōu)點(diǎn)：

(1) 高容錯(cuò)性

a)每份數(shù)據(jù)都自動(dòng)保存多個(gè)副本。HDFS正是通過增加副本的的方式來提高容錯(cuò)性;

b)如果某個(gè)副本丟失，HDFS還可以自動(dòng)恢復(fù)。

(2) 適合大數(shù)據(jù)處理

(a)數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到GB、TB、甚至PB級(jí)別的數(shù)據(jù);

(b)文件規(guī)模：能夠處理百萬規(guī)模以上的文件數(shù)量，數(shù)量相當(dāng)之大。

(3) 流式數(shù)據(jù)訪問，它能保證數(shù)據(jù)的一致性。

(4) 可構(gòu)建在廉價(jià)機(jī)器上，通過多副本機(jī)制，提高可靠性。這一點(diǎn)也是HDFS的突出優(yōu)勢(shì)，高性能的集群無需采用價(jià)格高昂的服務(wù)器，而是構(gòu)建在廉價(jià)的機(jī)器上呢。

HDFS缺點(diǎn)：

(1) 不適合低延時(shí)數(shù)據(jù)訪問，比如毫秒級(jí)的存儲(chǔ)數(shù)據(jù)，是做不到的。

(2) 無法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)。

a) 存儲(chǔ)大量小文件的話，它會(huì)占用NameNode大量的內(nèi)存來存儲(chǔ)文件、目錄和塊信息。這樣是不可取的，因?yàn)镹ameNode的內(nèi)存畢竟是有限的。

b) 小文件存儲(chǔ)的尋址時(shí)間會(huì)超過讀取時(shí)間，它違反了HDFS的設(shè)計(jì)目標(biāo)。

(3) 不支持并發(fā)寫入、文件隨機(jī)修改。

a) 一個(gè)文件只能有一個(gè)寫，不允許多個(gè)線程同時(shí)寫;

b) 僅支持?jǐn)?shù)據(jù)append(追加)，不支持文件的隨機(jī)修改。