01. 前言

可觀測性是指對于一個軟件系統(tǒng)的運行狀態(tài)和行為是否可以被監(jiān)測和分析。它涉及日志記錄、性能指標(biāo)收集、錯誤追蹤等技術(shù)手段，用于幫助開發(fā)人員診斷和解決軟件系統(tǒng)中的問題。

隨著5G、云計算和微服務(wù)等技術(shù)的深入融合與廣泛應(yīng)用，IT系統(tǒng)架構(gòu)正經(jīng)歷著從傳統(tǒng)的單體架構(gòu)向分布式架構(gòu)乃至云原生架構(gòu)的轉(zhuǎn)型，這一過程使得企業(yè)所面臨的IT運維環(huán)境變得愈發(fā)復(fù)雜。在這樣的背景下，企業(yè)需要運維的系統(tǒng)不僅數(shù)量多，而且網(wǎng)絡(luò)架構(gòu)復(fù)雜、基礎(chǔ)設(shè)施多樣?？捎^測性建設(shè)是幫助工程師掌握復(fù)雜分布式系統(tǒng)運行狀態(tài)、感知系統(tǒng)異常、故障定位、根因分析持續(xù)改善系統(tǒng)設(shè)計的必要手段。

但是在可觀測性建設(shè)過程中也面臨不少挑戰(zhàn)：

1）全棧觀測對象的數(shù)據(jù)接入能力

隨著云原生、分布式技術(shù)的普及以及國產(chǎn)化的要求，越來越多的組件和對象開始涌現(xiàn)，對各種觀測對象數(shù)據(jù)接入能力提出了更高的要求，要求具備靈活的擴展能力，快速低門檻地接入不同對象的數(shù)據(jù)采集。

2）復(fù)雜應(yīng)用架構(gòu)下有效的故障感知

以微服務(wù)、云原生架構(gòu)為代表的現(xiàn)代應(yīng)用架構(gòu)，其多服務(wù)、容器化及云原生技術(shù)的特性，極大地增加了觀測對象識別、觀測能力覆蓋及有效告警識別的挑戰(zhàn)。在這種背景下，故障感知的方式發(fā)生了顯著變化。傳統(tǒng)的基于資源、狀態(tài)、結(jié)果和趨勢的黑盒感知能力已不足以滿足現(xiàn)代應(yīng)用架構(gòu)的需求，需要擴展至應(yīng)用層，實現(xiàn)面向單筆請求、單個用戶的精確業(yè)務(wù)流量白盒觀測能力。

3）多業(yè)務(wù)多技術(shù)領(lǐng)域高效的故障定位

在復(fù)雜業(yè)務(wù)領(lǐng)域及軟件架構(gòu)下，故障往往涉及多個業(yè)務(wù)系統(tǒng)、多個技術(shù)領(lǐng)域，故障責(zé)任邊界不清、上下文傳遞低效、人員技能缺失是實現(xiàn)故障高效定位的難點。

4）打通觀測處置聯(lián)動加速故障處置

可觀測體系建設(shè)識別問題、定位問題僅是業(yè)務(wù)連續(xù)性保障的第一步，類似人的眼睛接受外界信號后，經(jīng)過大腦分析感知，做出應(yīng)答處置進行問題閉環(huán)。因此，基于觀測工具感知到的異常事件如何進行有效分析，如何打通后端運維處置工具觸發(fā)有效故障分派及運維操作行為，加速故障閉環(huán)，是運維體系生態(tài)建設(shè)的關(guān)鍵壁壘。

5）故障根因追蹤持續(xù)穩(wěn)定改善

在故障突發(fā)時，工程師首要工作是定位故障邊界、識別故障影響范圍、快速故障恢復(fù)。因此，在進行重啟或回滾操作后，錯誤代碼邏輯或不合理配置等引發(fā)的故障根因仍然存在，如何回溯故障現(xiàn)場、分析故障、依賴關(guān)系確定問題根因并修復(fù)，從而持續(xù)改善穩(wěn)定性是可觀測建設(shè)的核心價值和建設(shè)難點。

隨著大模型技術(shù)的出現(xiàn)，這一切挑戰(zhàn)似乎又有了新的解題方向。

02. 可觀測領(lǐng)域的大模型應(yīng)用場景探索

大模型技術(shù)在數(shù)據(jù)處理方面擁有非常明顯的優(yōu)勢：

• 語言理解：大模型通過訓(xùn)練可以理解和解釋自然語言文本，能夠回答問題、提供解釋、理解指令和上下文含義等，并根據(jù)上下文語境進行進一步的計算分析。
• 知識總結(jié)：大模型可以提取?本知識的關(guān)鍵信息，進行統(tǒng)計分析，使得?戶能夠快速獲取數(shù)據(jù)中的關(guān)鍵信息并進行分析。
• 文本生成：大模型可以根據(jù)上下??成各種類型的文本，如正則表達式、采集腳本、清洗腳本等自動生成。

在這些優(yōu)勢的加持下，大模型技術(shù)在可觀測領(lǐng)域的應(yīng)用也有著非常不錯的前景。而嘉為藍鯨在大模型的應(yīng)用方面，利用內(nèi)部觀測數(shù)據(jù)以及內(nèi)部沉淀知識庫對大模型進行訓(xùn)練，并結(jié)合在線大模型相結(jié)合的方式，在數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)統(tǒng)計、告警分析和處置等多個場景進行探索和落地。

場景一：數(shù)據(jù)采集

在可觀測場景中，經(jīng)常會有新的數(shù)據(jù)需要采集，可以通過Exporter、腳本、SQL等方式進行采集，從零開始進行代碼編寫往往需要耗費不少的時間，而大模型的代碼編寫能力剛好可以輔助進行代碼編寫，極大降低代碼編寫的成本。

場景二：數(shù)據(jù)清洗

在可觀測場景中，日志作為非結(jié)構(gòu)化內(nèi)容，為了提取有效信息，經(jīng)常需要進行結(jié)構(gòu)化處理，清洗出結(jié)構(gòu)化字段，便于進一步分析，而大模型則可以快速編寫正則進行日志清洗，而經(jīng)過嘉為藍鯨訓(xùn)練的大模型，可直接在日志產(chǎn)品的正則提取功能中使用。

諸如此類的場景還有告警豐富提取規(guī)則編寫，告警正則匹配規(guī)則編寫，都可以使用大模型的正則清洗能力進行輔助。

場景三：數(shù)據(jù)統(tǒng)計

在可觀測場景中，經(jīng)常會有一些報表統(tǒng)計或者快速統(tǒng)計信息進行數(shù)據(jù)分析的場景，經(jīng)過檢驗，可實現(xiàn)對指標(biāo)、日志、告警等不同類型數(shù)據(jù)進行統(tǒng)計分析。

① 指標(biāo)數(shù)據(jù)統(tǒng)計：各種指標(biāo)數(shù)據(jù)排序統(tǒng)計分析，例如可快速獲取XX業(yè)務(wù)的負(fù)載最高的10臺主機。

② 日志數(shù)據(jù)統(tǒng)計：例如對日志數(shù)據(jù)快速提取關(guān)鍵信息，對日志進行分類統(tǒng)計等場景

③ 告警數(shù)據(jù)統(tǒng)計：對告警對象、告警數(shù)量等信息進行快速統(tǒng)計

場景四：告警分析和處置

在可觀測場景中，最常見最麻煩的便是各種告警的處理，對人的要求非常高，門檻相對較高，主要體現(xiàn)在：

缺乏分步驟指引：故障處理的過程對于步驟的依賴性比較高，需要根據(jù)實際情況和上一步處理結(jié)果進行下一步操作，目前缺少適用的分步驟引導(dǎo)工具

• 手動獲取故障信息不全面，一般故障處理需要監(jiān)控信息、日志信息等數(shù)據(jù)，手動查找會遺漏
• 反復(fù)切換操作復(fù)雜：處理過程中，需要切換不同的平臺執(zhí)行腳本進行查詢和修復(fù)，操作繁瑣

而在大模型的輔助下，這些問題都將迎刃而解：可自動獲取告警、資產(chǎn)、日志等相關(guān)信息，綜合分析，并結(jié)合知識庫的內(nèi)容沉淀，自動進行引導(dǎo)進行故障分析和處理，甚至更進一步還能輔助編寫處置腳本，降低告警處置門檻和成本。

展示告警關(guān)聯(lián)數(shù)據(jù)詳情，獲取該告警對象的告警內(nèi)容詳細、告警數(shù)據(jù)庫詳情、關(guān)聯(lián)服務(wù)器信息、關(guān)聯(lián)日志信息等。

展示告警對象關(guān)聯(lián)監(jiān)控情況、查看告警的影響范圍。

處置方案引導(dǎo)和執(zhí)行，結(jié)合預(yù)置的解決方案和執(zhí)行腳本，自動進行操作處置。

在嘉為藍鯨內(nèi)部結(jié)合內(nèi)部知識庫，已經(jīng)實現(xiàn)對于故障問題進行知識庫解決方案的自動推薦，并提供一鍵建群和提單功能，已真正帶來業(yè)務(wù)價值，極大提高問題響應(yīng)和解決效率。

03. 未來展望

通過上述可觀測+大模型的聯(lián)合場景，已經(jīng)充分體現(xiàn)了大模型魅力，可能在不久的將來，大模型不僅僅是一個觀測輔助工具，而是能夠自主分析定位問題，自主解決問題；甚至能夠通過觀測數(shù)據(jù)預(yù)測未來可能發(fā)生的問題，提前消除隱患預(yù)防問題的發(fā)生，真正實現(xiàn)觀測從全面發(fā)現(xiàn)問題到快速處理問題再到提前預(yù)防問題的蛻變。