題目3：

下列哪項通常是hadoop集群運行時的最主要瓶頸？() [單選題]

A、CPU
B、網(wǎng)絡
C、磁盤 IO
D、內(nèi)存
【參考答案】: C
【您的答案】: D

這道題的答案取決于集群的性能，一般來說運行時的主要瓶頸是網(wǎng)絡。但是如果集群的磁盤IO性能較差，磁盤IO也可能是主要瓶頸。

題目5：

MapReduce的MapTask工作機制中最后要執(zhí)行的步驟是？[單選題]

A、溢寫
B、分區(qū)
C、排序
D、合并
【參考答案】: D
【您的答案】: A

MapTask工作機制中總共分為四步：

1. 輸入數(shù)據(jù)分片（Input Split）：將輸入數(shù)據(jù)按照指定的分片規(guī)則劃分成多個片段，每個片段由一個MapTask處理。這些數(shù)據(jù)分片通常存儲在分布式文件系統(tǒng)（如HDFS）中。

2. 映射（Map）：對每個輸入數(shù)據(jù)片段應用用戶定義的映射函數(shù)。映射函數(shù)將輸入數(shù)據(jù)解析為一組鍵值對，并對每個鍵值對執(zhí)行操作，生成中間鍵值對。這一步是將原始數(shù)據(jù)轉(zhuǎn)換為中間數(shù)據(jù)的階段。

3. 排序和分區(qū)（Shuffle）：將映射階段生成的中間鍵值對按照鍵的排序規(guī)則進行排序。然后，根據(jù)用戶定義的分區(qū)函數(shù)，將排序后的鍵值對劃分成若干個分區(qū)。每個分區(qū)將被發(fā)送給一個Reduce任務。

4. 本地合并和規(guī)約（Combine，可選）：在Map階段結(jié)束后，可以對每個分區(qū)中的鍵值對進行本地合并和規(guī)約操作，以減少數(shù)據(jù)傳輸量。這一步是可選的，并不是所有的MapReduce作業(yè)都會使用本地合并和規(guī)約。

所以本題答案是D選項，合并。

題目7：

下列關于hadoop中partition描述正確的是？

A、reduce的個數(shù)小于分區(qū)個數(shù)且不等于1的時候會報錯
B、默認只有一個reduce，雖然自定義了分區(qū)，但不會使用自定義分區(qū)類
C、分區(qū)個數(shù)小于reduce的個數(shù)時，會有空文件出現(xiàn)
D、自定義分區(qū)的分區(qū)號默認從0開始
【參考答案】: ABCD
【您的答案】: ACD

B選項的描述有點模糊，默認情況Hadoop只有一個reduce，前半句是對的。后半句，如果自定義了分區(qū)器，還需要設置使用自定義的分區(qū)器，否則默認還是使用Hash分區(qū)器。

題目12：

HDFS-HA工作要點中元數(shù)據(jù)管理，描寫正確的是？[多選]

A、倆個namenode內(nèi)存中各自保存一份元數(shù)據(jù)
B、Edits日志只有Active狀態(tài)的NameNode節(jié)點可以做寫操作
C、兩個NameNode都可以讀取Edits
D、共享的Edits放在一個共享存儲中管理（qjournal和NFS兩個主流實現(xiàn)）
【參考答案】: ABCD
【您的答案】: AB
A、倆個namenode內(nèi)存中各自保存一份元數(shù)據(jù)：正確。HDFS-HA中的兩個NameNode分別管理自己的內(nèi)存中元數(shù)據(jù)，以實現(xiàn)高可用性。

B、Edits日志只有Active狀態(tài)的NameNode節(jié)點可以做寫操作：正確。在HDFS-HA中，只有Active狀態(tài)的NameNode節(jié)點允許進行寫操作，Standby節(jié)點只能接收復制的元數(shù)據(jù)信息。

C、兩個NameNode都可以讀取Edits：在HDFS-HA中，只有Active狀態(tài)的NameNode節(jié)點允許讀取和寫入Edits，Standby節(jié)點只能讀取復制的元數(shù)據(jù)信息，以保持數(shù)據(jù)的一致性，從某個角度來說，兩個NameNode確實都可以讀取Edits.

D、共享的Edits放在一個共享存儲中管理（qjournal和NFS兩個主流實現(xiàn)）：正確。在HDFS-HA中，共享的Edits日志通常存儲在一個共享的存儲系統(tǒng)中，這可以通過qjournal（QuorumJournalManager）或NFS（Network File System）等主流實現(xiàn)來實現(xiàn)。

所以，正確的選項是A、B、C和D。

題目15：

NameNode故障后，采用什么方法恢復數(shù)據(jù)？[單選題]

A、將SecondaryNameNode中數(shù)據(jù)拷貝到NameNode存儲數(shù)據(jù)的目錄
B、使用-importCheckpoint選項啟動NameNode守護進程，從而將SecondaryNameNode中數(shù)據(jù)拷貝到NameNode目錄中。
C、AB都可以
D、AB都不可以
【參考答案】: C
【您的答案】: D

A 選項不是常用方法，但也是恢復方式之一。
B選項是最常用的恢復方式，也更為可靠和方便。
通過執(zhí)行上述操作，可以將SecondaryNameNode的鏡像數(shù)據(jù)導入到NameNode，從而恢復文件系統(tǒng)的狀態(tài)。
所以，正確的選項是C

題目18：

Namenode在啟動時自動進入安全模式，在安全模式階段，說法錯誤的是 [單選題]

A、安全模式目的是在系統(tǒng)啟動時檢查各個DataNode上數(shù)據(jù)塊的有效性
B、 根據(jù)策略對數(shù)據(jù)塊進行必要的復制或刪除
C、當數(shù)據(jù)塊最小百分比數(shù)滿足的最小副本數(shù)條件時，會自動退出安全模式
D、文件系統(tǒng)允許有修改
【參考答案】: D
【您的答案】: B

A選項：檢查數(shù)據(jù)塊的有效性是安全模式的目的之一，安全模式的主要目的是確保數(shù)據(jù)的穩(wěn)定和一致的狀態(tài)。
B選項：

• 數(shù)據(jù)塊復制：安全模式可以觸發(fā)數(shù)據(jù)塊的復制操作，以確保數(shù)據(jù)塊的副本數(shù)量達到或超過配置的最小副本數(shù)。

• 數(shù)據(jù)塊刪除：安全模式可以觸發(fā)刪除多余的數(shù)據(jù)塊副本，以確保數(shù)據(jù)塊的副本數(shù)量不超過配置的最大副本數(shù)。

C選項：安全模式退出策略：安全模式可以根據(jù)不同的策略來決定何時退出。例如，可以配置在滿足一定條件（如數(shù)據(jù)塊最小百分比數(shù)滿足的最小副本數(shù)）時自動退出安全模式。

D選項：在安全模式下，文件系統(tǒng)通常不允許進行寫入操作。這是為了確保文件系統(tǒng)的元數(shù)據(jù)和數(shù)據(jù)塊的一致性和穩(wěn)定性。修改時必須進行寫入，故無法進行修改，D錯誤。

題目21：

MapTask工作機制描述不正確的是？

A、Read階段：MapTask通過用戶編寫的RecordReader，從輸入InputSplit中解析出一個個key/value。
B、Collect收集階段：在用戶編寫map()函數(shù)中，當數(shù)據(jù)處理完成后，一般會調(diào)用OutputCollector.collect()輸出結(jié)果。在該函數(shù)內(nèi)部，它會將生成的key/value分區(qū)（調(diào)用Partitioner），并寫入一個環(huán)形內(nèi)存緩沖區(qū)中。
C、Spill階段：即“溢寫”，當環(huán)形緩沖區(qū)滿后，MapReduce會將數(shù)據(jù)寫到本地磁盤上，生成一個臨時文件。需要注意的是，將數(shù)據(jù)寫入本地磁盤之前，先要對數(shù)據(jù)進行一次本地排序，并在必要時對數(shù)據(jù)進行合并、壓縮等操作
D、Merge階段：在遠程拷貝數(shù)據(jù)的同時，MapTask啟動了兩個后臺線程對內(nèi)存和磁盤上的文件進行合并，以防止內(nèi)存使用過多或磁盤上文件過多。
【參考答案】: D
【您的答案】: C
D選項，是ReduceTask的sort階段啟動了兩個后臺線程程對內(nèi)存和磁盤上的文件進行合并。

題目22：

Hadoop的優(yōu)勢，下面描述正確的是？[多選題]

A、高可靠性：Hadoop底層維護多個數(shù)據(jù)副本，所以即使Hadoop某個計算元素或存儲出現(xiàn)故障，也不會導致數(shù)據(jù)的丟失。
B、高擴展性：在集群間分配任務數(shù)據(jù)，可方便的擴展數(shù)以干計的節(jié)點。
C、高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任務處理速度。
D、高容錯性：能夠自動將失敗的任務重新分配。
【參考答案】: ABCD
【您的答案】: ACD

hadoop有四高特性, 答案為ABCD

題目23：

hadoop的namenode格式化時需要注意什么？[多選題]

A、格式化NameNode，會產(chǎn)生新的集群id,導致DataNode中記錄的的集群id和剛生成的NameNode的集群id不 一致，所以需要觀察對比id是否一樣。
B、格式NameNode時，一定要先刪除每個節(jié)點的data目錄和logs日志，然后再格式化NameNode。
C、格式NameNode的命令是 hdfs namenode -format
D、格式化時報錯，無法格式化成功，可以查看/tmp下是否有hadoop相關文件，需要刪掉再重新格式化
【參考答案】: ABCD
【您的答案】: ABC

A、格式化NameNode，會產(chǎn)生新的集群id，導致DataNode中記錄的集群id和新生成的NameNode的集群id不一致，所以需要觀察對比id是否一樣。這是正確的，因為集群id的一致性對于正常的集群運行非常重要。

B、格式化NameNode時，一定要先刪除每個節(jié)點的data目錄和logs日志，然后再格式化NameNode。這是正確的，清除舊的數(shù)據(jù)和日志可以確保新的NameNode處于干凈的狀態(tài)。

C、格式NameNode的命令是 hdfs namenode -format。這是正確的格式化NameNode的命令。

D、格式化時報錯，無法格式化成功，可以查看/tmp下是否有hadoop相關文件，需要刪掉再重新格式化。這也是正確的，如果格式化過程中出現(xiàn)錯誤，可以檢查臨時目錄（例如/tmp）下是否殘留有Hadoop相關文件，需要刪除它們后再重新嘗試格式化。

所以正確的選項是A、B、C、D。