大數(shù)據(jù)分析面試題庫(kù)—Hadoop開(kāi)發(fā)人員面試題

　　破解Hadoop開(kāi)發(fā)人員面試并不容易，但是準(zhǔn)備工作可以完成所有工作。如果您是新手，請(qǐng)學(xué)習(xí)Hadoop概念并進(jìn)行適當(dāng)?shù)臏?zhǔn)備。對(duì)不同的文件系統(tǒng)，Hadoop版本，命令，系統(tǒng)安全性等都有很好的了解。以下幾個(gè)問(wèn)題可以幫助您通過(guò)Hadoop開(kāi)發(fā)人員面試。
 

31. Hadoop中有哪些不同的配置文件?
 

　　答： Hadoop中的不同配置文件是：

　　core-site.xml –此配置文件包含Hadoop核心配置設(shè)置，例如I / O設(shè)置，這對(duì)于MapReduce和HDFS非常常見(jiàn)。它使用主機(jī)名端口。

　　mapred-site.xml –此配置文件通過(guò)設(shè)置mapreduce.framework.name為MapReduce指定框架名稱

　　hdfs-site.xml –此配置文件包含HDFS守護(hù)程序配置設(shè)置。它還在HDFS上指定默認(rèn)阻止權(quán)限和復(fù)制檢查。

　　yarn-site.xml –此配置文件指定ResourceManager和NodeManager的配置設(shè)置。
 

32. Hadoop 2和Hadoop 3有什么區(qū)別?
 

　　答：以下是Hadoop 2和Hadoop 3之間的區(qū)別

33.如何在Hadoop中實(shí)現(xiàn)安全性?
 

　　答： Kerberos用于在Hadoop中實(shí)現(xiàn)安全性。使用Kerberos時(shí)，共有3個(gè)步驟可以高層訪問(wèn)服務(wù)。每個(gè)步驟都涉及與服務(wù)器的消息交換。

　　身份驗(yàn)證–第一步涉及到客戶端對(duì)身份驗(yàn)證服務(wù)器的身份驗(yàn)證，然后向客戶端提供帶時(shí)間戳的TGT(票證授予票證)。

　　授權(quán)–在此步驟中，客戶端使用接收到的TGT向TGS(票證授予服務(wù)器)請(qǐng)求服務(wù)票證。

　　服務(wù)請(qǐng)求–這是在Hadoop中實(shí)現(xiàn)安全性的最后一步。然后，客戶端使用服務(wù)票證向服務(wù)器進(jìn)行身份驗(yàn)證。
 

34.什么是商品硬件?
 

　　答：商品硬件是一種可用性較低，質(zhì)量較低的低成本系統(tǒng)。商品硬件由RAM組成，因?yàn)樗鼒?zhí)行許多需要RAM才能執(zhí)行的服務(wù)。一個(gè)不需要高端硬件配置或超級(jí)計(jì)算機(jī)即可運(yùn)行Hadoop，它可以在任何通用硬件上運(yùn)行。
 

35. NFS與HDFS有何不同?
 

　　答：有許多分布式文件系統(tǒng)以它們自己的方式工作。NFS(網(wǎng)絡(luò)文件系統(tǒng))是最古老和流行的分布式文件存儲(chǔ)系統(tǒng)之一，而HDFS(Hadoop分布式文件系統(tǒng))是最近使用和流行的處理大數(shù)據(jù)的系統(tǒng)。 NFS和HDFS之間的主要區(qū)別如下

36. Hadoop MapReduce如何工作?
 

　　MapReduce操作分為兩個(gè)階段。

　　映射階段–在此階段，輸入數(shù)據(jù)由映射任務(wù)拆分。地圖任務(wù)并行運(yùn)行。這些拆分?jǐn)?shù)據(jù)用于分析目的。

　　減少階段-在此階段，從整個(gè)集合中匯總相似的拆分?jǐn)?shù)據(jù)并顯示結(jié)果。
 

37.什么是MapReduce?您運(yùn)行MapReduce程序使用的語(yǔ)法是什么?
 

　　MapReduce是Hadoop中的一種編程模型，用于在通常稱為HDFS的計(jì)算機(jī)集群上處理大型數(shù)據(jù)集。它是一個(gè)并行編程模型。

　　運(yùn)行MapReduce程序的語(yǔ)法為– hadoop_jar_file.jar / input_path / output_path 。
 

38. NameNode，Task Tracker和Job Tracker的端口號(hào)是什么?
 

　　1)NameNode –端口50070

　　2)任務(wù)跟蹤器–端口50060

　　3)作業(yè)跟蹤器–端口50030
 

39. HDFS中文件或目錄級(jí)別的文件權(quán)限有哪些不同?
 

　　Hadoop分布式文件系統(tǒng)(HDFS)對(duì)文件和目錄使用特定的權(quán)限模型。HDFS中使用了以下用戶級(jí)別：

　　1)所有者

　　2)組

　　3)其他。

　　對(duì)于上述每個(gè)用戶，以下權(quán)限均適用：

　　1)讀(r)

　　2)寫(xiě)(w)

　　3)執(zhí)行(x)。

　　上面提到的權(quán)限對(duì)文件和目錄的作用不同。

　　對(duì)于文件：

　　1)在[R 權(quán)限是用于讀取文件

　　2)該W¯¯ 許可是寫(xiě)一個(gè)文件。

　　對(duì)于目錄：

　　1)在[R 權(quán)限列出內(nèi)容的特定目錄。

　　2)該W¯¯ 權(quán)限創(chuàng)建或刪除一個(gè)目錄。

　　3)該X 許可是用于訪問(wèn)子目錄。
 

40. Mapper的基本參數(shù)是什么?
 

　　1)映射器的基本參數(shù)是

　　2)長(zhǎng)寫(xiě)和文本

　　3)文字和可寫(xiě)