藍(lán)鯨是騰訊IEG十多年研運(yùn)探索的經(jīng)驗(yàn)與成果，積累了很多人的智慧與付出。由于騰訊IEG的業(yè)務(wù)特殊性，藍(lán)鯨體系天生地展現(xiàn)出對異構(gòu)業(yè)務(wù)的友好，避免了需要重復(fù)造輪子才能完成對多業(yè)務(wù)的支持。本次分享主要介紹藍(lán)鯨研運(yùn)體系在騰訊內(nèi)的發(fā)展、應(yīng)用及未來的演進(jìn)之路。

*注：以下內(nèi)容整理自：騰訊藍(lán)鯨研運(yùn)體系基礎(chǔ)PaaS負(fù)責(zé)人 陳睿 于 2022研運(yùn)一體創(chuàng)新峰會的精彩分享——《藍(lán)鯨研運(yùn)體系在騰訊內(nèi)的應(yīng)用實(shí)踐》。

01. 藍(lán)鯨研運(yùn)體系發(fā)展歷程

藍(lán)鯨研運(yùn)體系最早是在騰訊游戲內(nèi)部孵化出來的，它的作用就是幫助整個(gè)騰訊游戲，能夠更好地進(jìn)行運(yùn)營維護(hù)等一系列的支撐工作。

藍(lán)鯨在騰訊內(nèi)部的發(fā)展經(jīng)歷了三個(gè)階段：

• 第一階段，是在CD領(lǐng)域的建設(shè)，稱之為AutoOps；
• 第二階段，基于數(shù)據(jù)化的驅(qū)動(dòng)向CO領(lǐng)域拓展；
• 第三階段，最終達(dá)到了AIOps能力。

1）第一階段，CD領(lǐng)域建設(shè)，稱之為AutoOps

① 騰訊游戲的特點(diǎn)

• 種類非常多，大概有六七百款游戲在運(yùn)營
• 游戲的架構(gòu)、開發(fā)語言都不相同
• 游戲來源不同，有些是自研，有些是代理服務(wù)商開發(fā)

②“煙囪”問題頻繁凸顯

• 為支撐種類繁多的游戲，構(gòu)建了各種各樣的運(yùn)營支撐系統(tǒng)，調(diào)用非常復(fù)雜、重復(fù)建設(shè)問題嚴(yán)重。

③ 為解決早期“煙囪”問題，藍(lán)鯨內(nèi)部自建PaaS體系

• 對這些煙囪系統(tǒng)內(nèi)部的這些重復(fù)模塊，進(jìn)行打平、融合，在融合基礎(chǔ)之上去構(gòu)建上層的服務(wù)場景，由此形成了藍(lán)鯨的工具文化，自建一個(gè)PaaS體系。

④ PaaS體系初步構(gòu)建完成，內(nèi)部實(shí)現(xiàn)運(yùn)維統(tǒng)一

• 首先，將所有的基礎(chǔ)能力進(jìn)行抽象，構(gòu)建一個(gè)公共的服務(wù)層。
• 其次，在服務(wù)層之上通過更低成本的方式，擴(kuò)充使用場景，立足于自動(dòng)化來引導(dǎo)工具文化。
• 最后，向其他領(lǐng)域進(jìn)行拓展，形成服務(wù)化分離的早期藍(lán)鯨版本。

藍(lán)鯨在底下沉淀了很多原子能力，如版本管理、作業(yè)平臺、配置平臺等。中間通過一些網(wǎng)關(guān)或者服務(wù)總線之類的接口封裝，讓上層的場景能夠很方便地調(diào)用底下原子的能力。

這就是一個(gè)簡單的運(yùn)維PaaS雛形，形成了藍(lán)鯨的整體架構(gòu)圖。通過這種方式，在騰訊內(nèi)統(tǒng)一了整個(gè)騰訊游戲的技術(shù)運(yùn)營方案。

2）第二階段，基于數(shù)據(jù)化的驅(qū)動(dòng)，向CO領(lǐng)域拓展

在這一時(shí)期，藍(lán)鯨經(jīng)歷了兩個(gè)關(guān)鍵的時(shí)間點(diǎn)：2015年到2016年前后，數(shù)據(jù)化運(yùn)維啟動(dòng)，鋪墊了藍(lán)鯨整體擴(kuò)充AIOps的領(lǐng)域能力。

為了能夠?qū)⒄麄€(gè)PaaS的內(nèi)容向CO部分?jǐn)U展，藍(lán)鯨在整個(gè)PaaS基礎(chǔ)上增加了兩個(gè)平臺以及三部分的場景，分別是計(jì)算平臺、AIOps平臺。

場景層通過同樣的模式，同樣的PaaS結(jié)構(gòu)，增加了業(yè)務(wù)指標(biāo)視圖、自助發(fā)布系統(tǒng)、日志發(fā)布系統(tǒng)等。這樣就完成了在統(tǒng)一的PaaS結(jié)構(gòu)下，將內(nèi)容由CD向CO進(jìn)行擴(kuò)充。

3）第三階段，達(dá)到了AIOps能力

2018年，全面啟動(dòng)了DevOps的能力建設(shè)，也為將來藍(lán)鯨走向研運(yùn)一體化提供了基礎(chǔ)。

從CD層向CI層進(jìn)行內(nèi)容擴(kuò)展時(shí)，在平臺這一層增加了很多CI類型的平臺，例如代碼管理、流水線、編譯構(gòu)建的工具、測試工具、代碼掃描等等一系列。

CI方面的研發(fā)流程相關(guān)的一些原子能力，藍(lán)鯨在上層增加了整個(gè)業(yè)務(wù)DevOps的工具鏈，能幫助業(yè)務(wù)更好地去構(gòu)建他們的平臺和業(yè)務(wù)系統(tǒng)。

藍(lán)鯨在騰訊內(nèi)部一個(gè)孵化以及演變的全過程，整個(gè)藍(lán)鯨的從無到有，從有再到擴(kuò)展CI CD CO三個(gè)領(lǐng)域。

• 不變的是藍(lán)鯨PaaS的框架結(jié)構(gòu)和基礎(chǔ)組件；
• 變化的是藍(lán)鯨PaaS里增加的內(nèi)容和場景。

02. 藍(lán)鯨研運(yùn)體系在騰訊內(nèi)的應(yīng)用

藍(lán)鯨研運(yùn)體系在騰訊內(nèi)支撐了騰訊游戲所有業(yè)務(wù)，以及CI部分支撐了整個(gè)騰訊公司絕大部分業(yè)務(wù)的系統(tǒng)。應(yīng)用概況呈現(xiàn)出承載業(yè)務(wù)數(shù)量多、覆蓋范圍面積廣、任務(wù)數(shù)據(jù)量龐大、涉及相關(guān)人員多等特點(diǎn)。

1）CI領(lǐng)域場景應(yīng)用

① 典型實(shí)踐：藍(lán)盾平臺

藍(lán)盾是對所有藍(lán)鯨能力的封裝，在CI領(lǐng)域的具體體現(xiàn)，其核心服務(wù)大概有以下7部分能力：

② 流水線

可視化的持續(xù)集成流水線服務(wù)，貫穿代碼庫、版本倉庫、代碼檢查、質(zhì)量紅線、編譯加速等等。

③ CodeCC

自動(dòng)化檢查代碼缺陷的服務(wù)，涵蓋代碼缺陷、安全漏洞、代碼規(guī)范、復(fù)雜度、重復(fù)率等多種維度。

④ 質(zhì)量紅線

通過設(shè)置質(zhì)量標(biāo)準(zhǔn)，控制流水線的行為，使得最終交付必須符合質(zhì)量標(biāo)準(zhǔn)的一種服務(wù)。

⑤ PreCI

是騰訊CI在IDE下提供的CI服務(wù)，為開發(fā)者提供云編譯、代碼分析、單元測試、測試、自動(dòng)化部署等CI實(shí)踐。

⑥ 編譯加速

基于分布式編譯技術(shù)、緩存技術(shù)、容器技術(shù)實(shí)現(xiàn)的一套編譯加速解決方案。

⑦ Stream

以Pipeline as code為理念建設(shè)的CI服務(wù)。

⑧ 藍(lán)盾APP

手機(jī)上的CI管家，提供App商店、App版本測試、移動(dòng)端流水線等 能力的移動(dòng)端服務(wù)。

2）CD領(lǐng)域場景應(yīng)用

① 典型實(shí)踐：全球化管控

立足于中國本土，覆蓋節(jié)點(diǎn)覆蓋北美、歐洲、東南亞、甚至非洲、南美等全球地區(qū)，都有藍(lán)鯨的管控節(jié)點(diǎn)。

全球化管控的實(shí)現(xiàn)，依賴于藍(lán)鯨底層通道管控平臺，管控平臺處于整個(gè)藍(lán)鯨體系結(jié)構(gòu)里面的最下層，是整個(gè)藍(lán)鯨體系的支撐通道，就像一個(gè)人的腿一樣。

完成對管控平臺全球化部署和操作能力的支持后，那么整個(gè)藍(lán)鯨上層的所有平臺，都能借助這個(gè)能力實(shí)現(xiàn)全球化。

全球化管控，使得整個(gè)藍(lán)鯨PaaS能力在CI、CD、CO領(lǐng)域的應(yīng)用發(fā)揮到極致，所有的能力層級疊加，層級拓展，所有的能力都可以復(fù)用。

② 在CI領(lǐng)域，實(shí)現(xiàn)全球制品投遞

在國內(nèi)編譯的游戲版本，能夠通過這套系統(tǒng)，隨時(shí)發(fā)布到全球任何一個(gè)地點(diǎn)。

③ 在CD領(lǐng)域，實(shí)現(xiàn)全球資源管控

可以對全球任何一臺服務(wù)器，執(zhí)行任何一條命令；能夠從這臺服務(wù)器上取得任何想要的信息。

④ 在CO領(lǐng)域，實(shí)現(xiàn)全球數(shù)據(jù)采集分析

例如觀測某一臺服務(wù)器的監(jiān)控狀況，藍(lán)鯨監(jiān)控可以通過管控平臺，觸達(dá)到全球管控范圍內(nèi)的任何一臺服務(wù)器。

3）CO領(lǐng)域場景應(yīng)用

① CMP平臺

數(shù)據(jù)平臺、AIOps平臺、以及CO內(nèi)的成本分析、根因分析等場景，是藍(lán)鯨在CO領(lǐng)域的典型應(yīng)用，稱之為智能監(jiān)控。

下圖右邊的深藍(lán)色部分，是藍(lán)鯨的AIOps平臺能力抽象模型。有算法部分、數(shù)據(jù)部分，也有一些數(shù)據(jù)的Pipeline、清洗、規(guī)則等。在一些典型的領(lǐng)域可以與日志數(shù)據(jù)、基礎(chǔ)監(jiān)控?cái)?shù)據(jù)進(jìn)行結(jié)合，做一些清理和計(jì)算，通過它的理論模型做智能的分析，我們就可以讓監(jiān)控變得更加智能。這是藍(lán)鯨研運(yùn)體系在騰訊內(nèi)CO領(lǐng)域的一個(gè)非常典型的應(yīng)用。

下圖是智能監(jiān)控的一個(gè)應(yīng)用案例，通過調(diào)整檢測算法里面的參數(shù)，來達(dá)到在算法層面對告警靈敏度、精度等數(shù)據(jù)的優(yōu)化。

異常情況的檢測，可以結(jié)合智能監(jiān)控，通過算法，模型的學(xué)習(xí)和訓(xùn)練，能夠快速抓住這些異常點(diǎn)，并且將異常點(diǎn)事件發(fā)送給用戶，或者告警，從而避免造成一些業(yè)務(wù)損失。

4）CD+CO領(lǐng)域的應(yīng)用實(shí)踐

由于藍(lán)鯨PaaS結(jié)構(gòu)的便利性，不同領(lǐng)域的技術(shù)能夠很方便的產(chǎn)生一些交叉和融合，從而促成一些新的技術(shù)。例如智能化應(yīng)用編排調(diào)度、裝箱優(yōu)化。

① 典型應(yīng)用：智能化編排調(diào)度

藍(lán)鯨容器平臺的架構(gòu)，分為兩層：

② 服務(wù)層

里面包含了集群管理、業(yè)務(wù)管理、數(shù)據(jù)管理等模塊，它主要負(fù)責(zé)跟藍(lán)鯨整個(gè)體系的融匯打通。

③ Runtime層

它主要包括K8S的一些組件，包括K8S的運(yùn)行時(shí)它的Kubelet，以及一些插件，例如CI插件、CNI插件、針對游戲的Game Operator、支撐游戲的組件、負(fù)載均衡、CA、GPA和驅(qū)逐等等。它的作用是當(dāng)業(yè)務(wù)的資源使用受到瓶頸時(shí)，觸發(fā)一種規(guī)則，這種規(guī)則能夠自動(dòng)的將空閑池里面一部分機(jī)器初始化之后納入到集群里面來，然后擴(kuò)充業(yè)務(wù)的資源。

④ 典型應(yīng)用：裝箱優(yōu)化

應(yīng)用彈性伸縮的常規(guī)做法，往往是通過CPU、內(nèi)存的水位分布來出發(fā)容量預(yù)測的規(guī)則，但實(shí)際上CPU和內(nèi)存的水位分布不一定能夠真實(shí)地代表業(yè)務(wù)的真實(shí)需求，所以我們可以通過構(gòu)建模型去將更多的業(yè)務(wù)指標(biāo)納入到水位的管理中。這就是AIOps在CD領(lǐng)域的一個(gè)典型應(yīng)用。

通過AIOps在整個(gè)容器平臺這個(gè)領(lǐng)域，藍(lán)鯨做了三部分事情：

• 裝箱優(yōu)化：通過訓(xùn)練模型來快速?zèng)Q策容器最優(yōu)分布方案
• 配額推薦預(yù)測：CPU、mem等資源配額的最合理推薦
• 容量預(yù)測：根據(jù)歷史數(shù)據(jù)預(yù)測容量未來的變化，并驅(qū)動(dòng)調(diào)度系統(tǒng)提前擴(kuò)縮容

對藍(lán)鯨的PaaS而言，我們認(rèn)為它是一個(gè)有生命力的、不斷成長的生命體，所有歷史存在的東西都不是包袱而是積累。基礎(chǔ)能力可以在不同場景得到復(fù)用，不同領(lǐng)域的能力能夠方便的產(chǎn)生交流聯(lián)系，并孕育出新的能力。

03. 云原生時(shí)代藍(lán)鯨研運(yùn)體系的自我演進(jìn)

在云原生時(shí)代下，藍(lán)鯨研運(yùn)體系為了能夠更好的支撐業(yè)務(wù)、保障業(yè)務(wù)的運(yùn)營，不可避免的需要做一些持續(xù)的自我演進(jìn)，主要有四個(gè)方向：

1）容器化部署

在云原生體系下容器已經(jīng)變成了一種成本更低、更便捷的部署方式，所以在藍(lán)鯨軟件V7這個(gè)版本會推出藍(lán)鯨整個(gè)容器化部署的一套方案。

2）數(shù)據(jù)體系融合貫通

在云原生時(shí)代有容器、Workload、Service等等模型、元數(shù)據(jù)與傳統(tǒng)的元數(shù)據(jù)不再一樣，這些新的概念需要在藍(lán)鯨體系內(nèi)進(jìn)行數(shù)據(jù)的融匯貫通。例如，CMDB未來可能支持對云原生資產(chǎn)的納管、容器和傳統(tǒng)監(jiān)控實(shí)現(xiàn)統(tǒng)一、算力資源內(nèi)部進(jìn)行統(tǒng)一抽象和管理等。

3）云原生網(wǎng)關(guān)

基于APISIX來重新打造藍(lán)鯨的網(wǎng)關(guān)服務(wù)，并且讓它支持分布式網(wǎng)關(guān)的能力。用戶也可以在這個(gè)分布式網(wǎng)關(guān)上進(jìn)行各種自定義的擴(kuò)展，當(dāng)然它支持社區(qū)的Lua擴(kuò)展。

4）SaaS應(yīng)用模型

定義一個(gè)藍(lán)鯨SaaS的應(yīng)用標(biāo)準(zhǔn)，然后通過這個(gè)標(biāo)準(zhǔn)開發(fā)的SaaS，不用再去強(qiáng)依賴藍(lán)鯨原有的開發(fā)框架。整個(gè)SaaS應(yīng)用標(biāo)準(zhǔn)，定義和流程也會更加云原生化，會更加復(fù)用藍(lán)鯨內(nèi)部的一些云原生能力。