核數(shù)不準(zhǔn)這個(gè)事情是個(gè)概率問題，如果你碰見了，只能說你有點(diǎn)非歐，本質(zhì)上是因?yàn)榧号渲脝栴}，默認(rèn)時(shí)yarn不會(huì)去精準(zhǔn)把控任務(wù)的核數(shù)，因?yàn)槟J(rèn)的資源計(jì)算方式是用實(shí)際內(nèi)存去估算核數(shù)，這就導(dǎo)致如果大家配置任務(wù)時(shí)，如果實(shí)際內(nèi)存占用比較多，yarn的資源計(jì)算可能結(jié)果就會(huì)和實(shí)際的產(chǎn)生誤差，導(dǎo)致資源的使用出現(xiàn)各種問題

如果你想要讓yarn準(zhǔn)確的計(jì)算使用多少核，那么需要更改所有節(jié)點(diǎn)中的capacity-scheduler.xml配置文件

原配置文件中的
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator
要修改為
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

這樣大家再去看的時(shí)候就會(huì)發(fā)現(xiàn)核數(shù)也是正確的了，其實(shí)yarn之所以這樣，想想也好理解，核數(shù)是定死的，但是內(nèi)存本質(zhì)上受Hadoop最小申請資源數(shù)和規(guī)整化因子的原因，使得內(nèi)存的使用其實(shí)是不飽滿的，所有yarn時(shí)刻注意內(nèi)存的理論使用情況，從而沒有太多注意核數(shù)和continer，以此為程序員提供一個(gè)可參考的內(nèi)存數(shù)字，不然內(nèi)存不夠會(huì)OOM的！！！