一、什么是RPC框架？

RPC，全稱為Remote Procedure Call，即遠(yuǎn)程過程調(diào)用，是一種計(jì)算機(jī)通信協(xié)議。
比如現(xiàn)在有兩臺機(jī)器：A機(jī)器和B機(jī)器，并且分別部署了應(yīng)用A和應(yīng)用B。假設(shè)此時(shí)位于A機(jī)器上的A應(yīng)用想要調(diào)用位于B機(jī)器上的B應(yīng)用提供的函數(shù)或是方法，由于A應(yīng)用和B應(yīng)用不在一個(gè)內(nèi)存空間里面，所以不能直接調(diào)用，此時(shí)就需要通過網(wǎng)絡(luò)來表達(dá)調(diào)用的方式和傳輸調(diào)用的數(shù)據(jù)。也即所謂的遠(yuǎn)程調(diào)用。

二、RPC框架的實(shí)現(xiàn)原理？

主要有以下幾個(gè)步驟：

1、建立通信

首先要解決通訊的問題：即A機(jī)器想要調(diào)用B機(jī)器，首先得建立起通信連接。主要是通過在客戶端和服務(wù)器之間建立TCP連接，遠(yuǎn)程過程調(diào)用的所有相關(guān)的數(shù)據(jù)都在這個(gè)連接里面進(jìn)行傳輸交換。

通常這個(gè)連接可以是按需連接（需要調(diào)用的時(shí)候就先建立連接，調(diào)用結(jié)束后就立馬斷掉），也可以是長連接（客戶端和服務(wù)器建立起連接之后保持長期持有，不管此時(shí)有無數(shù)據(jù)包的發(fā)送，可以配合心跳檢測機(jī)制定期檢測建立的連接是否存活有效），多個(gè)遠(yuǎn)程過程調(diào)用共享同一個(gè)連接。

2、服務(wù)尋址

解決尋址的問題：即A機(jī)器上的應(yīng)用A要調(diào)用B機(jī)器上的應(yīng)用B，那么此時(shí)對于A來說如何告知底層的RPC框架所要調(diào)用的服務(wù)具體在哪里呢？

通常情況下我們需要提供B機(jī)器（主機(jī)名或IP地址）以及特定的端口，然后指定調(diào)用的方法或者函數(shù)的名稱以及入?yún)⒊鰠⒌刃畔?#xff0c;這樣才能完成服務(wù)的一個(gè)調(diào)用。比如基于Web服務(wù)協(xié)議棧的RPC，就需要提供一個(gè)endpoint URI，或者是從UDDI服務(wù)上進(jìn)行查找。如果是RMI調(diào)用的話，還需要一個(gè)RMI Registry來注冊服務(wù)的地址。

3、網(wǎng)絡(luò)傳輸

3.1、序列化

當(dāng)A機(jī)器上的應(yīng)用發(fā)起一個(gè)RPC調(diào)用時(shí)，調(diào)用方法和其入?yún)⒌刃畔⑿枰ㄟ^底層的網(wǎng)絡(luò)協(xié)議如TCP傳輸?shù)紹機(jī)器，由于網(wǎng)絡(luò)協(xié)議是基于二進(jìn)制的，所有我們傳輸?shù)膮?shù)數(shù)據(jù)都需要先進(jìn)行序列化（Serialize）或者編組（marshal）成二進(jìn)制的形式才能在網(wǎng)絡(luò)中進(jìn)行傳輸。然后通過尋址操作和網(wǎng)絡(luò)傳輸將序列化或者編組之后的二進(jìn)制數(shù)據(jù)發(fā)送給B機(jī)器。

3.2、反序列化

當(dāng)B機(jī)器接收到A機(jī)器的應(yīng)用發(fā)來的請求之后，又需要對接收到的參數(shù)等信息進(jìn)行反序列化操作（序列化的逆操作），即將二進(jìn)制信息恢復(fù)為內(nèi)存中的表達(dá)方式，然后再找到對應(yīng)的方法（尋址的一部分）進(jìn)行本地調(diào)用（一般是通過生成代理Proxy去調(diào)用, 通常會(huì)有JDK動(dòng)態(tài)代理、CGLIB動(dòng)態(tài)代理、Javassist生成字節(jié)碼技術(shù)等），之后得到調(diào)用的返回值。

4、服務(wù)調(diào)用

B機(jī)器進(jìn)行本地調(diào)用（通過代理Proxy）之后得到了返回值，此時(shí)還需要再把返回值發(fā)送回A機(jī)器，同樣也需要經(jīng)過序列化操作，然后再經(jīng)過網(wǎng)絡(luò)傳輸將二進(jìn)制數(shù)據(jù)發(fā)送回A機(jī)器，而當(dāng)A機(jī)器接收到這些返回值之后，則再次進(jìn)行反序列化操作，恢復(fù)為內(nèi)存中的表達(dá)方式，最后再交給A機(jī)器上的應(yīng)用進(jìn)行相關(guān)處理（一般是業(yè)務(wù)邏輯處理操作）。

通常，經(jīng)過以上四個(gè)步驟之后，一次完整的RPC調(diào)用算是完成了，另外可能因?yàn)榫W(wǎng)絡(luò)抖動(dòng)等原因需要重試等。

三、為什么需要RPC？

主要就是因?yàn)樵趲讉€(gè)進(jìn)程內(nèi)（應(yīng)用分布在不同的機(jī)器上），無法共用內(nèi)存空間，或者在一臺機(jī)器內(nèi)通過本地調(diào)用無法完成相關(guān)的需求，比如不同的系統(tǒng)之間的通訊，甚至不同組織之間的通訊。此外由于機(jī)器的橫向擴(kuò)展，需要在多臺機(jī)器組成的集群上部署應(yīng)用等等。

四、RPC支持哪些協(xié)議？

最早的CORBA、Java RMI， WebService方式的RPC風(fēng)格， Hessian, Thrift甚至Rest API。

五、RPC的實(shí)現(xiàn)基礎(chǔ)？

1、需要有非常高效的網(wǎng)絡(luò)通信，比如一般選擇Netty作為網(wǎng)絡(luò)通信框架
2、需要有比較高效的序列化框架，比如谷歌的Protobuf序列化框架
3、可靠的尋址方式（主要是提供服務(wù)的發(fā)現(xiàn)），比如可以使用Zookeeper來注冊服務(wù)等等
4、如果是帶會(huì)話（狀態(tài)）的RPC調(diào)用，還需要有會(huì)話和狀態(tài)保持的功能

六、RPC調(diào)用過程？

6.1 一個(gè)基本的RPC架構(gòu)里面應(yīng)該至少包含以下4個(gè)組件：

1、客戶端（Client）:服務(wù)調(diào)用方（服務(wù)消費(fèi)者）
2、客戶端存根（Client Stub）:存放服務(wù)端地址信息，將客戶端的請求參數(shù)數(shù)據(jù)信息打包成網(wǎng)絡(luò)消息，再通過網(wǎng)絡(luò)傳輸發(fā)送給服務(wù)端
3、服務(wù)端存根（Server Stub）:接收客戶端發(fā)送過來的請求消息并進(jìn)行解包，然后再調(diào)用本地服務(wù)進(jìn)行處理
4、服務(wù)端（Server）:服務(wù)的真正提供者

6.2 具體的調(diào)用過程如下：

1、服務(wù)消費(fèi)者（client客戶端）通過本地調(diào)用的方式調(diào)用服務(wù)
2、客戶端存根（client stub）接收到調(diào)用請求后負(fù)責(zé)將方法、入?yún)⒌刃畔⑿蛄谢?#xff08;組裝）成能夠進(jìn)行網(wǎng)絡(luò)傳輸?shù)南Ⅲw
3、客戶端存根（client stub）找到遠(yuǎn)程的服務(wù)地址，并且將消息通過網(wǎng)絡(luò)發(fā)送給服務(wù)端
4、服務(wù)端存根（server stub）收到消息后進(jìn)行解碼（反序列化操作）
5、服務(wù)端存根（server stub）根據(jù)解碼結(jié)果調(diào)用本地的服務(wù)進(jìn)行相關(guān)處理
6、本地服務(wù)執(zhí)行具體業(yè)務(wù)邏輯并將處理結(jié)果返回給服務(wù)端存根（server stub）
7、服務(wù)端存根（server stub）將返回結(jié)果重新打包成消息（序列化）并通過網(wǎng)絡(luò)發(fā)送至消費(fèi)方
8、客戶端存根（client stub）接收到消息，并進(jìn)行解碼（反序列化）
9、服務(wù)消費(fèi)方得到最終結(jié)果

而RPC框架的實(shí)現(xiàn)目標(biāo)則是將上面的第2-10步完好地封裝起來，也就是把調(diào)用、編碼/解碼的過程給封裝起來，讓用戶感覺上像調(diào)用本地服務(wù)一樣的調(diào)用遠(yuǎn)程服務(wù)。

七、RPC框架需要解決的問題？

1、如何確定客戶端和服務(wù)端之間的通信協(xié)議？
2、如何更高效地進(jìn)行網(wǎng)絡(luò)通信？
3、服務(wù)端提供的服務(wù)如何暴露給客戶端？
4、客戶端如何發(fā)現(xiàn)這些暴露的服務(wù)？
5、如何更高效地對請求對象和響應(yīng)結(jié)果進(jìn)行序列化和反序列化操作？

八、使用了哪些技術(shù)？

8.1、動(dòng)態(tài)代理

生成Client Stub（客戶端存根）和Server Stub（服務(wù)端存根）的時(shí)候需要用到j(luò)ava動(dòng)態(tài)代理技術(shù)，可以使用jdk提供的原生的動(dòng)態(tài)代理機(jī)制，也可以使用開源的：Cglib代理，Javassist字節(jié)碼生成技術(shù)。

8.2、序列化

在網(wǎng)絡(luò)中，所有的數(shù)據(jù)都將會(huì)被轉(zhuǎn)化為字節(jié)進(jìn)行傳送，所以為了能夠使參數(shù)對象在網(wǎng)絡(luò)中進(jìn)行傳輸，需要對這些參數(shù)進(jìn)行序列化和反序列化操作。

序列化：把對象轉(zhuǎn)換為字節(jié)序列的過程稱為對象的序列化，也就是編碼的過程。
反序列化：把字節(jié)序列恢復(fù)為對象的過程稱為對象的反序列化，也就是解碼的過程。

目前比較高效的開源序列化框架：如Kryo、fastjson和Protobuf等。

8.3、NIO通信

出于并發(fā)性能的考慮，傳統(tǒng)的阻塞式 IO 顯然不太合適，因此我們需要異步的 IO，即 NIO。
Java 提供了 NIO 的解決方案，Java 7 也提供了更優(yōu)秀的 NIO.2 支持?？梢赃x擇Netty或者mina來解決NIO數(shù)據(jù)傳輸?shù)膯栴}。

8.4、服務(wù)注冊中心

可選：Redis、Zookeeper、Consul 、Etcd。
一般使用ZooKeeper提供服務(wù)注冊與發(fā)現(xiàn)功能，解決單點(diǎn)故障以及分布式部署的問題(注冊中心)。

九. 模擬RPC的客戶端、服務(wù)端、通信協(xié)議三者如何工作的

9.1 代碼編寫：

（1）在HDFSClient項(xiàng)目基礎(chǔ)上創(chuàng)建包名com.hadoop.rpc
（2）創(chuàng)建RPC協(xié)議

package com.hadoop.rpc;public interface RPCProtocol {long versionID = 666;void mkdirs(String Path);void delete(String Path);
}

（3）創(chuàng)建RPC服務(wù)端

package com.hadoop.rpc;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;
import java.io.IOException;
import java.io.*;
public class NNServer implements RPCProtocol{@Overridepublic void mkdirs(String Path){//System.out.println("服務(wù)端，創(chuàng)建路徑" + Path);File f = new File(Path);final boolean mkdirs = f.mkdirs();if (mkdirs){System.out.println("服務(wù)端，創(chuàng)建路徑" + Path);}}public void delete(String Path){//System.out.println("服務(wù)端，創(chuàng)建路徑" + Path);File f = new File(Path);final boolean delete = f.delete();if (delete){System.out.println("服務(wù)端，刪除" + Path);}}public static void main(String[] args) throws IOException {Server server = new RPC.Builder(new Configuration()).setBindAddress("localhost").setPort(8888).setProtocol(RPCProtocol.class).setInstance(new NNServer()).build();System.out.println("服務(wù)器開始工作");server.start();}
}

（4）創(chuàng)建RPC客戶端

package com.hadoop.rpc;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;import java.io.IOException;
import java.net.InetSocketAddress;public class HDFSClient {public static void main(String[] args) throws IOException {RPCProtocol client = RPC.getProxy(RPCProtocol.class,RPCProtocol.versionID,new InetSocketAddress("localhost",8888),new Configuration());System.out.println("我是客戶端");System.out.println("開始創(chuàng)建文件夾");client.mkdirs("./input");int j = 0;while (j < 10){j++;client.mkdirs("./hadoop/hadoop100/hadoop"+j);}System.out.println("開始刪除前五個(gè)文件夾");int i = 0;while (i < 5){i++;client.delete("./hadoop/hadoop100/hadoop"+i);}}
}

pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>org.apache.hadoop</groupId><artifactId>hadoop</artifactId><version>1.0-SNAPSHOT</version><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><maven.compiler.source>1.8</maven.compiler.source><maven.compiler.target>1.8</maven.compiler.target><hadoop.version>2.7.5</hadoop.version><hive.version>1.1.0</hive.version><hbase.version>1.2.0</hbase.version><scala.version>2.11.8</scala.version><spark.version>2.4.4</spark.version></properties><dependencies><!--scala--><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>${scala.version}</version></dependency><!-- spark-core --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>${spark.version}</version></dependency><!-- spark-sql --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>${spark.version}</version></dependency><!-- spark-graphx --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-graphx_2.11</artifactId><version>${spark.version}</version></dependency><!-- hadoop --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>${hadoop.version}</version></dependency><!-- log4j --><dependency><groupId>log4j</groupId><artifactId>log4j</artifactId><version>1.2.17</version></dependency><!-- junit --><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.11</version></dependency><!-- kafka-clients --><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>0.11.0.2</version></dependency></dependencies></project>

3）測試
（1）啟動(dòng)服務(wù)端
觀察控制臺打印：服務(wù)器開始工作
在控制臺Terminal窗口輸入，jps，查看到NNServer服務(wù)
（2）啟動(dòng)客戶端
觀察客戶端控制臺打印：我是客戶端
觀察服務(wù)端控制臺打印：服務(wù)端，創(chuàng)建路徑/input
4）總結(jié)
RPC的客戶端調(diào)用通信協(xié)議方法，方法的執(zhí)行在服務(wù)端；
通信協(xié)議就是接口規(guī)范。

參考https://my.oschina.net/huangyong/blog/361751實(shí)現(xiàn)了RPC框架
github代碼：https://github.com/hu1991die/netty-rpc

原文參考：
1、https://www.zhihu.com/question/25536695
2、http://www.importnew.com/22003.html
3、http://blog.jobbole.com/92290/
4、https://mp.weixin.qq.com/s?__biz=MzAxMjY5NDU2Ng==&mid=2651856984&idx=1&sn=3896636d2d2907b5b7157bec14c58088&chksm=80496511b73eec072a10c2465e229683789432b31232016ce064036988d8a75a1d0de5dccc48&scene=27