內(nèi)容來自演講：曾祥龍 | DaoCloud | 解決方案架構(gòu)師

摘要

本文探討了金融企業(yè)在實(shí)施云原生體系時面臨的挑戰(zhàn)，包括復(fù)雜性、安全、數(shù)據(jù)持久化、服務(wù)網(wǎng)格使用和高可用容災(zāi)架構(gòu)等。針對網(wǎng)絡(luò)管理復(fù)雜性，文章提出了Spiderpool開源項(xiàng)目，旨在優(yōu)化傳統(tǒng)網(wǎng)絡(luò)方案，兼顧性能與自動化。此外，文章還提出了Egress解決方案，通過精確控制訪問外部資源的權(quán)限來降低安全風(fēng)險和提高網(wǎng)絡(luò)管理效率。在安全方面，文章強(qiáng)調(diào)了安全左移的重要性，并在集成開發(fā)環(huán)境、測試階段和軟件發(fā)布過程中進(jìn)行安全監(jiān)測。為確保制品在跨環(huán)境流轉(zhuǎn)中的安全性，文章提到了分布式鏡像掃描和可信鏡像安全分發(fā)的解決方案。
此外，文章還介紹了與明道云的合作，通過其零代碼開發(fā)平臺提升軟件開發(fā)和部署的安全性。在存儲解決方案上，文章提出需要提供主流的原生存儲方案，并介紹了與華為合作的跨數(shù)據(jù)中心存儲解決方案。文章還討論了服務(wù)網(wǎng)格在金融行業(yè)的落地和利用Ray框架將傳統(tǒng)業(yè)務(wù)轉(zhuǎn)化為適合分布式計算的任務(wù)。最后總結(jié)了全面的技術(shù)架構(gòu)圖為大模型場景的實(shí)施提供參考。

一、金融企業(yè)網(wǎng)絡(luò)的復(fù)雜性挑戰(zhàn)

我們根據(jù)CNCF的調(diào)研報告列出了在金融行業(yè)客戶中實(shí)施云原生體系時所遇到的一些挑戰(zhàn)，并整理了其中排名靠前的幾點(diǎn)，包括復(fù)雜性、安全、數(shù)據(jù)持久化、服務(wù)網(wǎng)格的使用，以及企業(yè)關(guān)注的高可用容災(zāi)架構(gòu)等。

在金融行業(yè)的內(nèi)部管理中，網(wǎng)絡(luò)管理是最關(guān)鍵的部分。因此，復(fù)雜性的首要關(guān)注點(diǎn)就是網(wǎng)絡(luò)管理。網(wǎng)絡(luò)管理涉及到不同的基礎(chǔ)設(shè)施和各種類型的應(yīng)用。例如，交易類應(yīng)用對延時非常敏感，需要實(shí)現(xiàn)極速型交易；銀行和金融機(jī)構(gòu)內(nèi)部的網(wǎng)絡(luò)管理非常嚴(yán)格，會劃分不同的業(yè)務(wù)區(qū)域；此外，對防火墻的管控、跨集群或跨數(shù)據(jù)中心的網(wǎng)絡(luò)管理要求也非常高。

1.傳統(tǒng)的主流網(wǎng)絡(luò)方案

為了解決這些網(wǎng)絡(luò)復(fù)雜性問題，業(yè)內(nèi)主流方案有兩種：Underlay和Overlay。通俗來說，Underlay網(wǎng)絡(luò)方式類似于我們目前使用的虛擬機(jī)管理方式，即由網(wǎng)絡(luò)管理員手動分配IP地址給業(yè)務(wù)系統(tǒng)。這種管理方式雖然直觀，但可能面臨擴(kuò)展性和靈活性的限制。且對人的要求比較高，后續(xù)的運(yùn)維工作要就非常多。而Overlay網(wǎng)絡(luò)方式則提供了一種自動化的網(wǎng)絡(luò)管理模式，人工干預(yù)的時間非常少，但是對比Underlay的方式性能又差了一些。兩種方式各有優(yōu)劣。

因此，在金融行業(yè)中，這兩種網(wǎng)絡(luò)方案在實(shí)際應(yīng)用中可能各有其特定的適用場景。例如，對于對延遲高度敏感的業(yè)務(wù)，如交易類應(yīng)用，可能會選擇采用更適合低延遲Underlay方案。而針對那些對自動化運(yùn)維有較高要求，但對延遲敏感度不高的業(yè)務(wù)，完全自動化運(yùn)維的網(wǎng)絡(luò)方案則更為合適。

2.取長補(bǔ)短的Spiderpool網(wǎng)絡(luò)方案

針對當(dāng)前行業(yè)現(xiàn)狀，我們做了一個開源項(xiàng)目。上面提到的兩種網(wǎng)絡(luò)方案，Overlay網(wǎng)絡(luò)方案雖然是全自動化運(yùn)維，但是比較簡單，而Underlay的方式又太過于依賴人工，導(dǎo)致在網(wǎng)絡(luò)管理方面存在諸多能力缺失，存在明顯局限性。我們的開源項(xiàng)目目標(biāo)在于克服這些挑戰(zhàn)，優(yōu)化現(xiàn)有性能良好但需人工管理的網(wǎng)絡(luò)方案，通過運(yùn)用開源方案將其增加自動化管理能力。例如，把IP沖突檢測、IP地址自動分配以及IP地址池劃分等功能整合到平臺上。這樣一來，我們彌補(bǔ)了傳統(tǒng)網(wǎng)絡(luò)方案中需要人工干預(yù)的短板，為未來的企業(yè)提供了更加高效和自動化的網(wǎng)絡(luò)管理解決方案。

當(dāng)然，我們的方案涵蓋了一些非常實(shí)用的場景。例如，多個網(wǎng)絡(luò)協(xié)同。一項(xiàng)業(yè)務(wù)可能需要一種特定的網(wǎng)絡(luò)設(shè)置，而另一項(xiàng)金融業(yè)務(wù)可能需要另一種網(wǎng)絡(luò)環(huán)境。在這種情況下，如何在銀行內(nèi)部的數(shù)據(jù)中心中實(shí)現(xiàn)多個網(wǎng)絡(luò)的協(xié)同工作，進(jìn)行統(tǒng)一的運(yùn)維管理，保障網(wǎng)絡(luò)間的連通性，就成為一個挑戰(zhàn)。

• Spiderpool： 多個 Underlay CNI 協(xié)同形態(tài)

我們的網(wǎng)絡(luò)解決方案提供了一種協(xié)同工作機(jī)制。通過這種方式，我們可以實(shí)現(xiàn)高效的網(wǎng)絡(luò)管理效果。具體來說，就像在一個業(yè)務(wù)系統(tǒng)中插入多張網(wǎng)卡一樣，我們可以為每個業(yè)務(wù)分配特定的網(wǎng)絡(luò)資源。一張網(wǎng)卡用于連接內(nèi)部管理網(wǎng)絡(luò)，另一張網(wǎng)卡用于對接特定業(yè)務(wù)。通過這樣的方式，能夠?qū)⑵髽I(yè)的多項(xiàng)業(yè)務(wù)利用同一網(wǎng)絡(luò)技術(shù)體系進(jìn)行統(tǒng)一聯(lián)動和管理，從而實(shí)現(xiàn)網(wǎng)絡(luò)資源的優(yōu)化配置和高效運(yùn)行。

• Spiderpool： 跨 CNI 的 IPAM

我們的解決方案還包括IPAM（IP自動化管理）功能。例如，我們前面說通過軟件自動化實(shí)現(xiàn)IP地址的分配、沖突檢測以及地址回收等任務(wù)，取代了以往需要人工干預(yù)的過程，極大地減輕了用戶的運(yùn)維壓力。

在我們與浦發(fā)銀行的合作某個項(xiàng)目中，他們起初采用的是Underlay網(wǎng)絡(luò)模式。然而，隨著業(yè)務(wù)系統(tǒng)的擴(kuò)展，應(yīng)用使用的IP數(shù)量超過了一萬個，這導(dǎo)致他們的IP管理運(yùn)維壓力非常大。在這樣的情況下，他們急需采用自動化工具來提升網(wǎng)絡(luò)管理的效率。

• Spiderpool： Overlay CNI 與 多個 Underlay CNI 協(xié)同形態(tài)

在解決了IP自動化管理之后，我們還需要對網(wǎng)絡(luò)流量進(jìn)行管理。因此，我們的網(wǎng)絡(luò)解決方案還包含了流量治理功能，比如說傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控抓取和數(shù)據(jù)分析能力，這些都是在云端環(huán)境中常用的方案。

二、Egress解決方案

在一個由10臺服務(wù)器組成的集群中，如果只有一個特定業(yè)務(wù)需要連接外部數(shù)據(jù)庫，按照傳統(tǒng)方式，可能需要為10臺服務(wù)器開啟到該數(shù)據(jù)庫的策略。然而，這種做法并不理想，因?yàn)椴⒎撬械脑粕蠘I(yè)務(wù)都需要訪問該數(shù)據(jù)庫。

為了解決這個問題，我們采用了Egress方案。通過這種方式，我們可以將所有需要訪問數(shù)據(jù)庫的應(yīng)用用標(biāo)簽進(jìn)行篩選，并將其指向一個特定的Egress IP。然后，我們只需要為這個Egress IP開放對數(shù)據(jù)庫的策略，就能有效地進(jìn)行管控。這樣，我們就能夠精確地控制訪問外部資源的權(quán)限，降低安全風(fēng)險，同時提高網(wǎng)絡(luò)管理的效率和準(zhǔn)確性。

三、kdoctor巡檢

除此之外，我們在網(wǎng)絡(luò)管理方面也開發(fā)了許多類似于巡檢的工具。例如，我們使用像kdoctor這樣的工具在集群上運(yùn)行，以監(jiān)控各個集群以及業(yè)務(wù)的網(wǎng)絡(luò)連接狀態(tài)。通過這種方式，我們可以有效地進(jìn)行巡檢，及時發(fā)現(xiàn)并解決問題。當(dāng)出現(xiàn)任何問題，如業(yè)務(wù)響應(yīng)變慢、聯(lián)動延遲、訪問緩慢或接口超時等情況時，這些工具能夠進(jìn)行有效檢測，為我們的運(yùn)維排障工作提供有力支持。

四、DevOps 落地金融企業(yè)帶來的安全風(fēng)險

作為一個 DevOps 團(tuán)隊(duì)，它的上線流程通常如下圖所示從一開始開發(fā)團(tuán)隊(duì)提交代碼到代碼倉庫，到最后部署交付到生產(chǎn)集群。各個環(huán)節(jié)都應(yīng)有部署對應(yīng)的安全監(jiān)測能力，檢查潛在的安全風(fēng)險。下圖中每個標(biāo)記的位置上，都存在風(fēng)險爆發(fā)的可能性。

1.安全左移

雖然前面提到的網(wǎng)絡(luò)策略解決了部分安全性問題，但現(xiàn)在的主流方式是將安全措施向左移，即從事后防御轉(zhuǎn)向事前預(yù)防。

傳統(tǒng)的安全措施多為事后防御，例如在構(gòu)建云環(huán)境后實(shí)施各類安全防護(hù)措施，當(dāng)業(yè)務(wù)出現(xiàn)問題時進(jìn)行排查和修復(fù)。然而，當(dāng)前主流的新興安全模式更傾向于預(yù)先做好防范工作，在開發(fā)應(yīng)用或者寫代碼之前，就提前做好充分的安全預(yù)防措施。

這意味著在程序設(shè)計和編寫階段，我們就已經(jīng)考慮到并實(shí)施了多種安全預(yù)防措施，以確保在問題發(fā)生之前就能夠有效降低風(fēng)險。這種提前布局的安全策略極大地降低了后續(xù)業(yè)務(wù)側(cè)的安全管理壓力，提高整體安全水平，減少潛在的安全隱患。

在集成開發(fā)環(huán)境（IDE）中，我們可以集成安全工具，確保代碼編寫階段就考慮到安全性。在測試階段，我們會進(jìn)一步集成安全工具進(jìn)行檢測，確保軟件的質(zhì)量和安全性。

當(dāng)軟件打包成安裝包后，我們會對安裝包進(jìn)行安全掃描和檢測，以識別并消除潛在的安全隱患。在軟件制品準(zhǔn)備發(fā)布到運(yùn)行環(huán)境時，我們還可以去做一些安全管控，包括掃描和檢測，以驗(yàn)證這個全檢是否能夠發(fā)布到黃精，如果檢測到有問題，可以隨時阻斷發(fā)布過程。

除此之外，在傳統(tǒng)安全領(lǐng)域我們也已經(jīng)覆蓋，如部署安全。軟件在環(huán)境中運(yùn)行時，我們會持續(xù)監(jiān)測其安全狀況，發(fā)現(xiàn)問題時及時進(jìn)行修復(fù)。

總的來說，我們的安全管理策略是從右向左逐步前移，從源頭就開始把控安全質(zhì)量。這樣的做法能夠最大限度地減少后期工作中可能出現(xiàn)的安全問題，從而極大地減輕后續(xù)的運(yùn)維壓力和風(fēng)險。

2.為流水線設(shè)計的分布式鏡像掃描

另外，考慮到制品可能涉及到跨環(huán)境的流轉(zhuǎn)，例如從開發(fā)環(huán)境到測試環(huán)境，再到生產(chǎn)環(huán)境，甚至可能涉及跨數(shù)據(jù)中心和多個集群的場景，因此在安全方面我們需要考慮分布式安全的一些因素。這要求我們對整個流水線以及制品分發(fā)的路徑進(jìn)行安全設(shè)計，確保在各個環(huán)節(jié)都能保障安全性。

3.可信鏡像安全分發(fā)

此外，對于可信鏡像安全分發(fā)，例如Java應(yīng)用所依賴的基礎(chǔ)鏡像，如JDK或Tomcat等，傳統(tǒng)的做法是在公網(wǎng)中拉取標(biāo)準(zhǔn)鏡像，然后開始部署應(yīng)用。但現(xiàn)在，我們傾向于為所有內(nèi)部應(yīng)用制定一套安全規(guī)范標(biāo)準(zhǔn)。例如，對于所有的JDK的鏡像，我們首先在內(nèi)部制定好安全的鏡像。然后，開發(fā)者可以基于這些安全鏡像來開發(fā)應(yīng)用，這樣整個鏡像的安全體系就能夠得到有機(jī)的提升。在未來，如果底層軟件進(jìn)行代碼升級或漏洞修復(fù)，我們只需要更新底部鏡像。所有應(yīng)用都將基于更新后的底部鏡像通過流水線自動化打包，從而實(shí)現(xiàn)安全管理的高度自動化。

4.全流程鏡像阻斷

在這個過程中，有一些安全阻斷流程。在整個制品和軟件發(fā)布的過程中，無論哪個環(huán)節(jié)出現(xiàn)問題，我們都有能力及時對其進(jìn)行阻斷，確保最終發(fā)布到環(huán)境中的應(yīng)用真正符合安全標(biāo)準(zhǔn)和內(nèi)部客戶的安全要求。

5.云原生安全實(shí)踐參考框架

這里有一個安全實(shí)踐的參考框架，涵蓋了集群安全、軟件開發(fā)交付安全、軟件配置安全管理、運(yùn)行節(jié)點(diǎn)安全、網(wǎng)絡(luò)通信安全以及運(yùn)行服務(wù)之間的安全等多個方面，從整體來考慮安全。

五、與明道云的聯(lián)合解決方案

我們與明道云合作推出了企業(yè)級別的聯(lián)合解決方案。先前我們提到的軟件開發(fā)、業(yè)務(wù)開發(fā)以及部署開發(fā)中的諸多功能流程，在明道云的零代碼開發(fā)平臺中得到了整合。該平臺本身內(nèi)置了許多針對軟件代碼管理的安全機(jī)制，其軟件產(chǎn)品本身就內(nèi)嵌了安全設(shè)計。因此，基于明道云開發(fā)的應(yīng)用最終發(fā)布到我們的底層云平臺時，它們從一開始就原生具備了安全保障。

前面我們提到的，從軟件開發(fā)設(shè)計階段到軟件測試階段，再到軟件發(fā)布的全流程安全體系。在這個過程中，當(dāng)應(yīng)用部署到實(shí)際的物理機(jī)或虛機(jī)環(huán)境時，我們的平臺將進(jìn)一步提升和強(qiáng)化安全能力，從而構(gòu)建一個更為全面的安全體系。

其中，我們采用無代碼的方式提升軟件安全的交付流程，具有典型的優(yōu)勢。例如，無代碼平臺內(nèi)嵌了安全標(biāo)準(zhǔn)，用戶無需自行搭建。核心在底層，我們在云原生底層平臺可以再做一層，進(jìn)一步確保安全性。

目前，我們與明道云不僅在解決方案聯(lián)合發(fā)布方面合作，還在汽車、金融和制造業(yè)等領(lǐng)域?qū)崿F(xiàn)了落地案例。并且，雙方產(chǎn)品的兼容性已經(jīng)通過認(rèn)證測試，可以預(yù)見，未來雙方的合作將更加深入。

六、主流云原生存儲解決方案

前期上線的絕大部分業(yè)務(wù)可能對數(shù)據(jù)存儲的要求比較低，但隨著業(yè)務(wù)的深入發(fā)展，對有狀態(tài)數(shù)據(jù)或者說跟數(shù)據(jù)庫強(qiáng)關(guān)聯(lián)的業(yè)務(wù)都會搬到我們的平臺上去。因此，我們需要提供一種主流的原生存儲方案，以滿足這些業(yè)務(wù)的數(shù)據(jù)存儲需求。

這種存儲方案是將各種底層存儲技術(shù)，如分布式存儲、塊存儲和文件存儲等，有效地提供給上層業(yè)務(wù)系統(tǒng)使用。為此，我們做了一個統(tǒng)一接入的存儲平臺，預(yù)先對接了業(yè)內(nèi)常見的各種存儲系統(tǒng)，以實(shí)現(xiàn)無縫集成。對于應(yīng)用來說，只需在應(yīng)用代碼中添加一條存儲配置，就可以便捷地使用底層的各種存儲。

我們考慮到許多用戶目前是基于物理服務(wù)器搭建系統(tǒng)，而物理服務(wù)器本地磁盤的存儲資源有很多會被浪費(fèi)。為此，我們可以將物理服務(wù)器上本地磁盤的存儲整合，構(gòu)建一個存儲池供用戶使用，從而提高存儲資源的利用率。

我們的平臺還兼容特定高性能數(shù)據(jù)聚合場景的存儲平臺對接。例如，我們與華為合作提供了跨數(shù)據(jù)中心的存儲解決方案。在這種方案中，我們的平臺負(fù)責(zé)處理上層業(yè)務(wù)，而華為的存儲系統(tǒng)則負(fù)責(zé)管理底層數(shù)據(jù)。

當(dāng)業(yè)務(wù)出現(xiàn)故障需要遷移到另一個數(shù)據(jù)中心時，華為的存儲系統(tǒng)會自動將數(shù)據(jù)同步到另一個數(shù)據(jù)中心，確保數(shù)據(jù)的實(shí)時性和完整性。這樣，通過我們的平臺和華為雙活存儲方案的無縫對接，我們可以實(shí)現(xiàn)整個業(yè)務(wù)的雙活運(yùn)行，極大地提高了業(yè)務(wù)的連續(xù)性和可靠性。這樣一來，無論哪個數(shù)據(jù)中心發(fā)生問題，都能確保業(yè)務(wù)的正常運(yùn)行和數(shù)據(jù)的安全性。

七、服務(wù)網(wǎng)格的金融行業(yè)落地

網(wǎng)格技術(shù)是當(dāng)前服務(wù)治理領(lǐng)域中一種廣泛應(yīng)用的框架，對于微服務(wù)治理而言尤為關(guān)鍵。傳統(tǒng)的微服務(wù)體系主要以Java體系為主，網(wǎng)格技術(shù)并不限制于特定的技術(shù)語言。無論是Python、Go，都可以借助網(wǎng)格治理體系實(shí)現(xiàn)統(tǒng)一的服務(wù)治理。

我們提供的這套方案具有以下特點(diǎn)：首先，支持跨集群服務(wù)治理，包括云上云下統(tǒng)一或內(nèi)部多個數(shù)據(jù)集群的管理。其次，具備數(shù)據(jù)分析能力，通過一張圖表可以清晰地展示正常業(yè)務(wù)訪問流程。在未使用網(wǎng)格加速技術(shù)的情況下，業(yè)務(wù)訪問過程中會涉及多個串行的通信環(huán)節(jié)，而采用網(wǎng)格加速技術(shù)后，能夠大幅度縮短內(nèi)部通信鏈路，提升網(wǎng)絡(luò)效率。

特別是在金融行業(yè)的一些高性能或極速交易場景中，這種網(wǎng)絡(luò)加速技術(shù)能夠顯著提高業(yè)務(wù)間訪問的網(wǎng)絡(luò)效率。此外，我們的網(wǎng)絡(luò)加速方案不僅包括純軟件加速方式，還支持硬件級的加速技術(shù)。對于對網(wǎng)絡(luò)延時要求敏感的業(yè)務(wù)，可以通過軟硬件結(jié)合的方式進(jìn)一步提升網(wǎng)絡(luò)效率。

在可維護(hù)性方面我們也做了考慮，每次網(wǎng)絡(luò)改動或升級都可能對業(yè)務(wù)造成影響，這樣的網(wǎng)絡(luò)架構(gòu)肯定是不合理的。我們在設(shè)計整個網(wǎng)絡(luò)方案時，采用了松耦合或解耦的架構(gòu)方式。這樣，當(dāng)我們進(jìn)行網(wǎng)絡(luò)插件升級時，就不會對業(yè)務(wù)產(chǎn)生任何影響。

同時，為了方便用戶將傳統(tǒng)業(yè)務(wù)遷移到我們的網(wǎng)絡(luò)加速的方案中，我們提供了一種便捷的工具。這套工具可以實(shí)現(xiàn)靈活和平滑的遷移過程，使得用戶的業(yè)務(wù)系統(tǒng)能夠通過這個過渡方案快速、無縫地從傳統(tǒng)的模式升級到云原生的網(wǎng)格模式。

八、云原生時代業(yè)務(wù)連續(xù)性需求

現(xiàn)今，大多數(shù)企業(yè)在構(gòu)建數(shù)字化架構(gòu)時都會考慮跨數(shù)據(jù)中心的容災(zāi)或雙活方案。這類架構(gòu)需要考慮跨數(shù)據(jù)中心的容災(zāi)與，包括基礎(chǔ)的數(shù)據(jù)備份和恢復(fù)，基于主從切換的跨集群災(zāi)備以及云原生時代的雙活。這不僅要求上層業(yè)務(wù)具有靈活的架構(gòu)，而且底層平臺、數(shù)據(jù)以及數(shù)據(jù)庫存儲的全方位設(shè)計也必須考慮在內(nèi)。

對于雙活架構(gòu)，我們將其分為多個層次：接入層、應(yīng)用層、數(shù)據(jù)層以及存儲層。在每個層次，我們都考慮了雙活設(shè)計架構(gòu)，以確保業(yè)務(wù)的穩(wěn)定性和可靠性。

九、如何通過分布式架構(gòu)對預(yù)模型進(jìn)行調(diào)優(yōu)

自從LLAMA大模型開源后，大模型領(lǐng)域出現(xiàn)了大量的開源項(xiàng)目，并在企業(yè)化落地方面取得了顯著進(jìn)展。然而，要將大模型應(yīng)用到企業(yè)內(nèi)部，關(guān)鍵在于如何將傳統(tǒng)業(yè)務(wù)轉(zhuǎn)變?yōu)檫m合分布式計算的任務(wù)。這里涉及一個關(guān)鍵技術(shù)——Ray框架，它是一個分布式計算框架，只需幾行代碼即可將內(nèi)部的傳統(tǒng)業(yè)務(wù)轉(zhuǎn)化為分布式業(yè)務(wù)。分布式業(yè)務(wù)的優(yōu)勢在于能夠進(jìn)行并行計算，突破單臺服務(wù)器在計算性能和存儲方面的瓶頸。

在我們的解決方案中，我們特別增強(qiáng)了隊(duì)列能力。當(dāng)大模型運(yùn)算任務(wù)到云原生環(huán)境中運(yùn)行時，會做隊(duì)列管理，使得模型計算變得更加便捷和高效。此外，大規(guī)模性能測試在分布式計算中至關(guān)重要。我們有一個開源項(xiàng)目，專門用于大規(guī)模計算的性能測試。這項(xiàng)技術(shù)同樣被OpenAI等機(jī)構(gòu)采用。

最終，我們整理出了一張全面的技術(shù)架構(gòu)圖，為企業(yè)內(nèi)部實(shí)施大模型場景提供了參考。這張圖涵蓋了從底層云平臺到上層大模型框架的所有支撐技術(shù)。