一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

MapReduce工作原理圖文詳解

 Collect4Se7en 2014-03-16

1.在客戶端啟動一個作業(yè)。


2.向JobTracker請求一個Job ID。


3.將運行作業(yè)所需要的資源文件復(fù)制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客戶端計算所得的輸入劃分信息。這些文件都存放在JobTracker專門為該作業(yè)創(chuàng)建的文件夾中。文件夾名為該作業(yè)的Job ID。JAR文件默認會有10個副本(mapred.submit.replication屬性控制);輸入劃分信息告訴了JobTracker應(yīng)該為這個作業(yè)啟動多少個map任務(wù)等信息。


4.JobTracker接收到作業(yè)后,將其放在一個作業(yè)隊列里,等待作業(yè)調(diào)度器對其進行調(diào)度(這里是不是很像微機中的進程調(diào)度呢,呵呵),當作業(yè)調(diào)度器根據(jù)自己的調(diào)度算法調(diào)度到該作業(yè)時,會根據(jù)輸入劃分信息為每個劃分創(chuàng)建一個map任務(wù),并將map任務(wù)分配給TaskTracker執(zhí)行。對于map和reduce任務(wù),TaskTracker根據(jù)主機核的數(shù)量和內(nèi)存的大小有固定數(shù)量的map槽和reduce槽。這里需要強調(diào)的是:map任務(wù)不是隨隨便便地分配給某個TaskTracker的,這里有個概念叫:數(shù)據(jù)本地化(Data-Local)。意思是:將map任務(wù)分配給含有該map處理的數(shù)據(jù)塊的TaskTracker上,同時將程序JAR包復(fù)制到該TaskTracker上來運行,這叫“運算移動,數(shù)據(jù)不移動”。而分配reduce任務(wù)時并不考慮數(shù)據(jù)本地化。


5.TaskTracker每隔一段時間會給JobTracker發(fā)送一個心跳,告訴JobTracker它依然在運行,同時心跳中還攜帶著很多的信息,比如當前map任務(wù)完成的進度等信息。當JobTracker收到作業(yè)的最后一個任務(wù)完成信息時,便把該作業(yè)設(shè)置成“成功”。當JobClient查詢狀態(tài)時,它將得知任務(wù)已完成,便顯示一條消息給用戶。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    亚洲国产一级片在线观看 | 91偷拍视频久久精品| 亚洲a码一区二区三区| 污污黄黄的成年亚洲毛片 | 色婷婷国产精品视频一区二区保健| 日本在线高清精品人妻| 色婷婷视频免费在线观看| 精品香蕉国产一区二区三区| 熟妇人妻av中文字幕老熟妇| 久久精品国产熟女精品| 久久99这里只精品热在线| 国产精品美女午夜福利| 国产自拍欧美日韩在线观看| 日韩精品一区二区三区射精| 欧美日韩亚洲国产精品| 高清一区二区三区四区五区| 91精品欧美综合在ⅹ| 国产午夜精品美女露脸视频 | 好吊色免费在线观看视频| 色婷婷中文字幕在线视频| 久久99这里只精品热在线| 国产又猛又黄又粗又爽无遮挡| 大香蕉久久精品一区二区字幕| 国产成人精品一区二三区在线观看| 午夜精品一区二区av| 欧美加勒比一区二区三区| 美国黑人一级黄色大片| 中文字幕禁断介一区二区| 可以在线看的欧美黄片| 日本高清不卡一二三区| 欧美日韩成人在线一区| 亚洲欧美日韩在线看片| 欧美成人精品国产成人综合| 久热99中文字幕视频在线| 免费观看潮喷到高潮大叫| 久久99爱爱视频视频| 美女黄色三级深夜福利| 亚洲另类欧美综合日韩精品| 老熟女露脸一二三四区| 黄色av尤物白丝在线播放网址| 美女被啪的视频在线观看|