在上一課時(shí)我們了解了 LoadBalance 接口定義以及 AbstractLoadBalance 抽象類的內(nèi)容，還詳細(xì)介紹了 ConsistentHashLoadBalance 以及 RandomLoadBalance 這兩個(gè)實(shí)現(xiàn)類的核心原理和大致實(shí)現(xiàn)。本課時(shí)我們將繼續(xù)介紹 LoadBalance 的剩余三個(gè)實(shí)現(xiàn)。

LeastActiveLoadBalance 最小活躍數(shù)

LeastActiveLoadBalance 使用的是最小活躍數(shù)負(fù)載均衡算法。它認(rèn)為當(dāng)前活躍請(qǐng)求數(shù)越小的 Provider 節(jié)點(diǎn)，剩余的處理能力越多，處理請(qǐng)求的效率也就越高，那么該 Provider 在單位時(shí)間內(nèi)就可以處理更多的請(qǐng)求，所以我們應(yīng)該優(yōu)先將請(qǐng)求分配給該 Provider 節(jié)點(diǎn)。

LeastActiveLoadBalance 需要配合 ActiveLimitFilter 使用，ActiveLimitFilter 會(huì)記錄每個(gè)接口方法的活躍請(qǐng)求數(shù)，在 LeastActiveLoadBalance 進(jìn)行負(fù)載均衡時(shí)，只會(huì)從活躍請(qǐng)求數(shù)最少的 Invoker 集合里挑選 Invoker。

在 LeastActiveLoadBalance 的實(shí)現(xiàn)中，首先會(huì)選出所有活躍請(qǐng)求數(shù)最小的 Invoker 對(duì)象，之后的邏輯與 RandomLoadBalance 完全一樣，即按照這些 Invoker 對(duì)象的權(quán)重挑選最終的 Invoker 對(duì)象。下面是 LeastActiveLoadBalance.doSelect() 方法的具體實(shí)現(xiàn)：

protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {// 初始化Invoker數(shù)量int length = invokers.size();// 記錄最小的活躍請(qǐng)求數(shù)int leastActive = -1;// 記錄活躍請(qǐng)求數(shù)最小的Invoker集合的個(gè)數(shù)int leastCount = 0;// 記錄活躍請(qǐng)求數(shù)最小的Invoker在invokers數(shù)組中的下標(biāo)位置 int[] leastIndexes = new int[length];// 記錄活躍請(qǐng)求數(shù)最小的Invoker集合中，每個(gè)Invoker的權(quán)重值int[] weights = new int[length];// 記錄活躍請(qǐng)求數(shù)最小的Invoker集合中，所有Invoker的權(quán)重值之和int totalWeight = 0;// 記錄活躍請(qǐng)求數(shù)最小的Invoker集合中，第一個(gè)Invoker的權(quán)重值int firstWeight = 0;// 活躍請(qǐng)求數(shù)最小的集合中，所有Invoker的權(quán)重值是否相同boolean sameWeight = true;for (int i = 0; i < length; i++) { // 遍歷所有Invoker，獲取活躍請(qǐng)求數(shù)最小的Invoker集合Invoker<T> invoker = invokers.get(i);// 獲取該Invoker的活躍請(qǐng)求數(shù)int active = RpcStatus.getStatus(invoker.getUrl(), invocation.getMethodName()).getActive();// 獲取該Invoker的權(quán)重int afterWarmup = getWeight(invoker, invocation);weights[i] = afterWarmup;// 比較活躍請(qǐng)求數(shù)if (leastActive == -1 || active < leastActive) {// 當(dāng)前的Invoker是第一個(gè)活躍請(qǐng)求數(shù)最小的Invoker，則記錄如下信息leastActive = active; // 重新記錄最小的活躍請(qǐng)求數(shù)leastCount = 1; // 重新記錄活躍請(qǐng)求數(shù)最小的Invoker集合個(gè)數(shù)leastIndexes[0] = i; // 重新記錄InvokertotalWeight = afterWarmup; // 重新記錄總權(quán)重值firstWeight = afterWarmup; // 該Invoker作為第一個(gè)Invoker，記錄其權(quán)重值sameWeight = true; // 重新記錄是否權(quán)重值相等} else if (active == leastActive) { // 當(dāng)前Invoker屬于活躍請(qǐng)求數(shù)最小的Invoker集合leastIndexes[leastCount++] = i; // 記錄該Invoker的下標(biāo)totalWeight += afterWarmup; // 更新總權(quán)重if (sameWeight && afterWarmup != firstWeight) {sameWeight = false; // 更新權(quán)重值是否相等}}}// 如果只有一個(gè)活躍請(qǐng)求數(shù)最小的Invoker對(duì)象，直接返回即可if (leastCount == 1) {return invokers.get(leastIndexes[0]);}// 下面按照RandomLoadBalance的邏輯，從活躍請(qǐng)求數(shù)最小的Invoker集合中，隨機(jī)選擇一個(gè)Invoker對(duì)象返回if (!sameWeight && totalWeight > 0) {int offsetWeight = ThreadLocalRandom.current().nextInt(totalWeight);for (int i = 0; i < leastCount; i++) {int leastIndex = leastIndexes[i];offsetWeight -= weights[leastIndex];if (offsetWeight < 0) {return invokers.get(leastIndex);}}}return invokers.get(leastIndexes[ThreadLocalRandom.current().nextInt(leastCount)]);
}

ActiveLimitFilter 以及底層的 RpcStatus 記錄活躍請(qǐng)求數(shù)的具體原理，在前面的[第 30 課時(shí)]中我們已經(jīng)詳細(xì)分析過(guò)了，這里不再重復(fù)，如果有不清楚的地方，你可以回顧之前課時(shí)相關(guān)的內(nèi)容。

RoundRobinLoadBalance 加權(quán)輪詢

RoundRobinLoadBalance 實(shí)現(xiàn)的是加權(quán)輪詢負(fù)載均衡算法。

輪詢指的是將請(qǐng)求輪流分配給每個(gè) Provider。例如，有 A、B、C 三個(gè) Provider 節(jié)點(diǎn)，按照普通輪詢的方式，我們會(huì)將第一個(gè)請(qǐng)求分配給 Provider A，將第二個(gè)請(qǐng)求分配給 Provider B，第三個(gè)請(qǐng)求分配給 Provider C，第四個(gè)請(qǐng)求再次分配給 Provider A……如此循環(huán)往復(fù)。

輪詢是一種無(wú)狀態(tài)負(fù)載均衡算法，實(shí)現(xiàn)簡(jiǎn)單，適用于集群中所有 Provider 節(jié)點(diǎn)性能相近的場(chǎng)景。 但現(xiàn)實(shí)情況中就很難保證這一點(diǎn)了，因?yàn)楹苋菀壮霈F(xiàn)集群中性能最好和最差的 Provider 節(jié)點(diǎn)處理同樣流量的情況，這就可能導(dǎo)致性能差的 Provider 節(jié)點(diǎn)各方面資源非常緊張，甚至無(wú)法及時(shí)響應(yīng)了，但是性能好的 Provider 節(jié)點(diǎn)的各方面資源使用還較為空閑。這時(shí)我們可以通過(guò)加權(quán)輪詢的方式，降低分配到性能較差的 Provider 節(jié)點(diǎn)的流量。

加權(quán)之后，分配給每個(gè) Provider 節(jié)點(diǎn)的流量比會(huì)接近或等于它們的權(quán)重比。例如，Provider 節(jié)點(diǎn) A、B、C 權(quán)重比為 5:1:1，那么在 7 次請(qǐng)求中，節(jié)點(diǎn) A 將收到 5 次請(qǐng)求，節(jié)點(diǎn) B 會(huì)收到 1 次請(qǐng)求，節(jié)點(diǎn) C 則會(huì)收到 1 次請(qǐng)求。

在 Dubbo 2.6.4 版本及之前，RoundRobinLoadBalance 的實(shí)現(xiàn)存在一些問(wèn)題，例如，選擇 Invoker 的性能問(wèn)題、負(fù)載均衡時(shí)不夠平滑等。在 Dubbo 2.6.5 版本之后，這些問(wèn)題都得到了修復(fù)，所以這里我們就來(lái)介紹最新的 RoundRobinLoadBalance 實(shí)現(xiàn)。

每個(gè) Provider 節(jié)點(diǎn)有兩個(gè)權(quán)重：一個(gè)權(quán)重是配置的 weight，該值在負(fù)載均衡的過(guò)程中不會(huì)變化；另一個(gè)權(quán)重是 currentWeight，該值會(huì)在負(fù)載均衡的過(guò)程中動(dòng)態(tài)調(diào)整，初始值為 0。

當(dāng)有新的請(qǐng)求進(jìn)來(lái)時(shí)，

1. RoundRobinLoadBalance 會(huì)遍歷 Invoker 列表，并用對(duì)應(yīng)的 currentWeight 加上其配置的權(quán)重。
2. 遍歷完成后，再找到最大的 currentWeight，將其減去權(quán)重總和，然后返回相應(yīng)的 Invoker 對(duì)象。

下面我們通過(guò)一個(gè)示例說(shuō)明 RoundRobinLoadBalance 的執(zhí)行流程，這里我們依舊假設(shè) A、B、C 三個(gè)節(jié)點(diǎn)的權(quán)重比例為 5:1:1。

1. 處理第一個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [0, 0, 0] 變?yōu)?[5, 1, 1]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) A。最后，將節(jié)點(diǎn) A 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [-2, 1, 1]。
2. 處理第二個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [-2, 1, 1] 變?yōu)?[3, 2, 2]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) A。最后，將節(jié)點(diǎn) A 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [-4, 2, 2]。
3. 處理第三個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [-4, 2, 2] 變?yōu)?[1, 3, 3]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) B。最后，將節(jié)點(diǎn) B 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [1, -4, 3]。
4. 處理第四個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [1, -4, 3] 變?yōu)?[6, -3, 4]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) A。最后，將節(jié)點(diǎn) A 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [-1, -3, 4]。
5. 處理第五個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [-1, -3, 4] 變?yōu)?[4, -2, 5]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) C。最后，將節(jié)點(diǎn) C 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [4, -2, -2]。
6. 處理第六個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [4, -2, -2] 變?yōu)?[9, -1, -1]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) A。最后，將節(jié)點(diǎn) A 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [2, -1, -1]。
7. 處理第七個(gè)請(qǐng)求，currentWeight 數(shù)組中的權(quán)重與配置的 weight 相加，即從 [2, -1, -1] 變?yōu)?[7, 0, 0]。接下來(lái)，從中選擇權(quán)重最大的 Invoker 作為結(jié)果，即節(jié)點(diǎn) A。最后，將節(jié)點(diǎn) A 的 currentWeight 值減去 totalWeight 值，最終得到 currentWeight 數(shù)組為 [0, 0, 0]。

到此為止，一個(gè)輪詢的周期就結(jié)束了。

而在 Dubbo 2.6.4 版本中，上面示例的一次輪詢結(jié)果是 [A, A, A, A, A, B, C]，也就是說(shuō)前 5 個(gè)請(qǐng)求會(huì)全部都落到 A 這個(gè)節(jié)點(diǎn)上。這將會(huì)使節(jié)點(diǎn) A 在短時(shí)間內(nèi)接收大量的請(qǐng)求，壓力陡增，而節(jié)點(diǎn) B 和節(jié)點(diǎn) C 此時(shí)沒(méi)有收到任何請(qǐng)求，處于完全空閑的狀態(tài)，這種“瞬間分配不平衡”的情況也就是前面提到的“不平滑問(wèn)題”。

在 RoundRobinLoadBalance 中，我們?yōu)槊總€(gè) Invoker 對(duì)象創(chuàng)建了一個(gè)對(duì)應(yīng)的 WeightedRoundRobin 對(duì)象，用來(lái)記錄配置的權(quán)重（weight 字段）以及隨每次負(fù)載均衡算法執(zhí)行變化的 current 權(quán)重（current 字段）。

了解了 WeightedRoundRobin 這個(gè)內(nèi)部類后，我們?cè)賮?lái)看 RoundRobinLoadBalance.doSelect() 方法的具體實(shí)現(xiàn)：

protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {String key = invokers.get(0).getUrl().getServiceKey() + "." + invocation.getMethodName();// 獲取整個(gè)Invoker列表對(duì)應(yīng)的WeightedRoundRobin映射表，如果為空，則創(chuàng)建一個(gè)新的WeightedRoundRobin映射表ConcurrentMap<String, WeightedRoundRobin> map = methodWeightMap.computeIfAbsent(key, k -> new ConcurrentHashMap<>());int totalWeight = 0;long maxCurrent = Long.MIN_VALUE;long now = System.currentTimeMillis(); // 獲取當(dāng)前時(shí)間Invoker<T> selectedInvoker = null;WeightedRoundRobin selectedWRR = null;for (Invoker<T> invoker : invokers) {String identifyString = invoker.getUrl().toIdentityString();int weight = getWeight(invoker, invocation);// 檢測(cè)當(dāng)前Invoker是否有相應(yīng)的WeightedRoundRobin對(duì)象，沒(méi)有則進(jìn)行創(chuàng)建WeightedRoundRobin weightedRoundRobin = map.computeIfAbsent(identifyString, k -> {WeightedRoundRobin wrr = new WeightedRoundRobin();wrr.setWeight(weight);return wrr;});// 檢測(cè)Invoker權(quán)重是否發(fā)生了變化，若發(fā)生變化，則更新WeightedRoundRobin的weight字段if (weight != weightedRoundRobin.getWeight()) {weightedRoundRobin.setWeight(weight);}// 讓currentWeight加上配置的Weightlong cur = weightedRoundRobin.increaseCurrent();//  設(shè)置lastUpdate字段weightedRoundRobin.setLastUpdate(now);// 尋找具有最大currentWeight的Invoker，以及Invoker對(duì)應(yīng)的WeightedRoundRobinif (cur > maxCurrent) {maxCurrent = cur;selectedInvoker = invoker;selectedWRR = weightedRoundRobin;}totalWeight += weight; // 計(jì)算權(quán)重總和}if (invokers.size() != map.size()) {map.entrySet().removeIf(item -> now - item.getValue().getLastUpdate() > RECYCLE_PERIOD);}if (selectedInvoker != null) {// 用currentWeight減去totalWeightselectedWRR.sel(totalWeight);// 返回選中的Invoker對(duì)象return selectedInvoker;}return invokers.get(0);
}

ShortestResponseLoadBalance 最短響應(yīng)時(shí)間

ShortestResponseLoadBalance 是Dubbo 2.7 版本之后新增加的一個(gè) LoadBalance 實(shí)現(xiàn)類。它實(shí)現(xiàn)了最短響應(yīng)時(shí)間的負(fù)載均衡算法，也就是從多個(gè) Provider 節(jié)點(diǎn)中選出調(diào)用成功的且響應(yīng)時(shí)間最短的 Provider 節(jié)點(diǎn)，不過(guò)滿足該條件的 Provider 節(jié)點(diǎn)可能有多個(gè)，所以還要再使用隨機(jī)算法進(jìn)行一次選擇，得到最終要調(diào)用的 Provider 節(jié)點(diǎn)。

了解了 ShortestResponseLoadBalance 的核心原理之后，我們一起來(lái)看 ShortestResponseLoadBalance.doSelect() 方法的核心實(shí)現(xiàn)，如下所示：

protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {// 記錄Invoker集合的數(shù)量int length = invokers.size();// 用于記錄所有Invoker集合中最短響應(yīng)時(shí)間long shortestResponse = Long.MAX_VALUE;// 具有相同最短響應(yīng)時(shí)間的Invoker個(gè)數(shù)int shortestCount = 0;// 存放所有最短響應(yīng)時(shí)間的Invoker的下標(biāo)int[] shortestIndexes = new int[length];// 存儲(chǔ)每個(gè)Invoker的權(quán)重int[] weights = new int[length];// 存儲(chǔ)權(quán)重總和int totalWeight = 0;// 記錄第一個(gè)Invoker對(duì)象的權(quán)重int firstWeight = 0;// 最短響應(yīng)時(shí)間Invoker集合中的Invoker權(quán)重是否相同boolean sameWeight = true;for (int i = 0; i < length; i++) {Invoker<T> invoker = invokers.get(i);RpcStatus rpcStatus = RpcStatus.getStatus(invoker.getUrl(), invocation.getMethodName());// 獲取調(diào)用成功的平均時(shí)間，具體計(jì)算方式是：調(diào)用成功的請(qǐng)求數(shù)總數(shù)對(duì)應(yīng)的總耗時(shí) / 調(diào)用成功的請(qǐng)求數(shù)總數(shù) = 成功調(diào)用的平均時(shí)間// RpcStatus 的內(nèi)容在前面課時(shí)已經(jīng)介紹過(guò)了，這里不再重復(fù)long succeededAverageElapsed = rpcStatus.getSucceededAverageElapsed();// 獲取的是該P(yáng)rovider當(dāng)前的活躍請(qǐng)求數(shù)，也就是當(dāng)前正在處理的請(qǐng)求數(shù)int active = rpcStatus.getActive();// 計(jì)算一個(gè)處理新請(qǐng)求的預(yù)估值，也就是如果當(dāng)前請(qǐng)求發(fā)給這個(gè)Provider，大概耗時(shí)多久處理完成long estimateResponse = succeededAverageElapsed * active;// 計(jì)算該Invoker的權(quán)重（主要是處理預(yù)熱）int afterWarmup = getWeight(invoker, invocation);weights[i] = afterWarmup;if (estimateResponse < shortestResponse) { // 第一次找到Invoker集合中最短響應(yīng)耗時(shí)的Invoker對(duì)象，記錄其相關(guān)信息shortestResponse = estimateResponse;shortestCount = 1;shortestIndexes[0] = i;totalWeight = afterWarmup;firstWeight = afterWarmup;sameWeight = true;} else if (estimateResponse == shortestResponse) {// 出現(xiàn)多個(gè)耗時(shí)最短的Invoker對(duì)象shortestIndexes[shortestCount++] = i;totalWeight += afterWarmup;if (sameWeight && i > 0&& afterWarmup != firstWeight) {sameWeight = false;}}}if (shortestCount == 1) {return invokers.get(shortestIndexes[0]);}// 如果耗時(shí)最短的所有Invoker對(duì)象的權(quán)重不相同，則通過(guò)加權(quán)隨機(jī)負(fù)載均衡的方式選擇一個(gè)Invoker返回if (!sameWeight && totalWeight > 0) {int offsetWeight = ThreadLocalRandom.current().nextInt(totalWeight);for (int i = 0; i < shortestCount; i++) {int shortestIndex = shortestIndexes[i];offsetWeight -= weights[shortestIndex];if (offsetWeight < 0) {return invokers.get(shortestIndex);}}}// 如果耗時(shí)最短的所有Invoker對(duì)象的權(quán)重相同，則隨機(jī)返回一個(gè)return invokers.get(shortestIndexes[ThreadLocalRandom.current().nextInt(shortestCount)]);
}

總結(jié)

我們緊接上一課時(shí)介紹了 LoadBalance 接口的剩余三個(gè)實(shí)現(xiàn)。

我們首先介紹了

• LeastActiveLoadBalance 實(shí)現(xiàn)，它使用最小活躍數(shù)負(fù)載均衡算法，選擇當(dāng)前請(qǐng)求最少的 Provider 節(jié)點(diǎn)處理最新的請(qǐng)求；
• 接下來(lái)介紹了 RoundRobinLoadBalance 實(shí)現(xiàn)，它使用加權(quán)輪詢負(fù)載均衡算法，彌補(bǔ)了單純的輪詢負(fù)載均衡算法導(dǎo)致的問(wèn)題，同時(shí)隨著 Dubbo 版本的升級(jí)，也將其自身不夠平滑的問(wèn)題優(yōu)化掉了；
• 最后介紹了 ShortestResponseLoadBalance 實(shí)現(xiàn)，它會(huì)從響應(yīng)時(shí)間最短的 Provider 節(jié)點(diǎn)中選擇一個(gè) Provider 節(jié)點(diǎn)來(lái)處理新請(qǐng)求。