一、概述

基于社區(qū)已有的JDBCServer基礎(chǔ)上，采用多主實例模式實現(xiàn)了其高可用性方案。集群中支持同時共存多個JDBCServer服務(wù)，通過客戶端可以隨機(jī)連接其中的任意一個服務(wù)進(jìn)行業(yè)務(wù)操作。即使集群中一個或多個JDBCServer服務(wù)停止工作，也不影響用戶通過同一個客戶端接口連接其他正常的JDBCServer服務(wù)。
多主實例模式相比主備模式的HA方案，優(yōu)勢主要體現(xiàn)在對以下兩種場景的改進(jìn)。

• 主備模式下，當(dāng)發(fā)生主備切換時，會存在一段時間內(nèi)服務(wù)不可用，該時間JDBCServer無法控制，取決于Yarn服務(wù)的資源情況。
• Spark中通過類似于HiveServer2的Thrift JDBC提供服務(wù)，用戶通過Beeline以及JDBC接口訪問。因此JDBCServer集群的處理能力取決于主Server的單點(diǎn)能力，可擴(kuò)展性不夠。

采用多主實例模式的HA方案，不僅可以規(guī)避主備切換服務(wù)中斷的問題，實現(xiàn)服務(wù)不中斷或少中斷，還可以通過橫向擴(kuò)展集群來提高并發(fā)能力。

二、實現(xiàn)方案

多主實例模式的HA方案原理如下圖所示。

1. JDBCServer在啟動時，向ZooKeeper注冊自身消息，在指定目錄中寫入節(jié)點(diǎn)，節(jié)點(diǎn)包含了該實例對應(yīng)的IP，端口，版本號和序列號等信息（多節(jié)點(diǎn)信息之間以逗號隔開）。
   示例如下：

[serverUri=192.168.169.84:22550
;version=8.2.0;sequence=0000001244,serverUri=192.168.195.232:22550 ;version=8.2.0;sequence=0000001242,serverUri=192.168.81.37:22550 ;version=8.2.0;sequence=0000001243]

2. 客戶端連接JDBCServer時，需要指定Namespace，即訪問ZooKeeper哪個目錄下的JDBCServer實例。在連接的時候，會從Namespace下隨機(jī)選擇一個實例連接，詳細(xì)URL參見URL連接介紹。
3. 客戶端成功連接JDBCServer服務(wù)后，向JDBCServer服務(wù)發(fā)送SQL語句。
4. JDBCServer服務(wù)執(zhí)行客戶端發(fā)送的SQL語句后，將結(jié)果返回給客戶端。

在HA方案中，每個JDBCServer服務(wù)（即實例）都是獨(dú)立且等同的，當(dāng)其中一個實例在升級或者業(yè)務(wù)中斷時，其他的實例也能接受客戶端的連接請求。

多主實例方案遵循以下規(guī)則：

• 當(dāng)一個實例異常退出時，其他實例不會接管此實例上的會話，也不會接管此實例上運(yùn)行的業(yè)務(wù)。
• 當(dāng)JDBCServer進(jìn)程停止時，刪除在ZooKeeper上的相應(yīng)節(jié)點(diǎn)。
• 由于客戶端選擇服務(wù)端的策略是隨機(jī)的，可能會出現(xiàn)會話隨機(jī)分配不均勻的情況，進(jìn)而可能引起實例間的負(fù)載不均衡。
• 實例進(jìn)入維護(hù)模式（即進(jìn)入此模式后不再接受新的客戶端連接）后，當(dāng)達(dá)到退服超時時間，仍在此實例上運(yùn)行的業(yè)務(wù)有可能會發(fā)生失敗。

三、URL連接介紹

多主實例模式

多主實例模式的客戶端讀取ZooKeeper節(jié)點(diǎn)中的內(nèi)容，連接對應(yīng)的JDBCServer服務(wù)。連接字符串為：

• 安全模式下：
  Kinit認(rèn)證方式下的JDBCURL如下所示：

jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系統(tǒng)域名>@<系統(tǒng)域名>;

注意：

• 其中“<zkNode_IP>:<zkNode_Port>”是ZooKeeper的URL，多個URL以逗號隔開。
  例如：“192.168.81.37:24002,192.168.195.232:24002,192.168.169.84:24002”。
• 其中“sparkthriftserver2x”是ZooKeeper上的目錄，表示客戶端從該目錄下隨機(jī)選擇JDBCServer實例進(jìn)行連接。

示例：安全模式下通過Beeline客戶端連接時執(zhí)行以下命令：

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系統(tǒng)域名>@<系統(tǒng)域名>;"

Keytab認(rèn)證方式下的JDBCURL如下所示：

jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系統(tǒng)域名>@<系統(tǒng)域名>;user.principal=<principal_name>;user.keytab=<path_to_keytab>

• 普通模式下：

jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;

示例：普通模式下通過Beeline客戶端連接時執(zhí)行以下命令：

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;"

非多主實例模式

非多主實例模式的客戶端連接的是某個指定JDBCServer節(jié)點(diǎn)。該模式的連接字符串相比多主實例模式的去掉關(guān)于Zookeeper的參數(shù)項“serviceDiscoveryMode”和“zooKeeperNamespace”。

示例：安全模式下通過Beeline客戶端連接非多主實例模式時執(zhí)行以下命令：

sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<server_IP>:<server_Port>/;user.principal=spark2x/hadoop.<系統(tǒng)域名>@<系統(tǒng)域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系統(tǒng)域名>@<系統(tǒng)域名>;"

注意：

• 其中“<server_IP>:<server_Port>”是指定JDBCServer節(jié)點(diǎn)的URL。
• “CLIENT_HOME”是指客戶端路徑。

多主實例模式與非多主實例模式兩種模式的JDBCServer接口相比，除連接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一個實現(xiàn)，其使用方法，請參見Hive官網(wǎng)：https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。