01. 場景簡述

使用WeOps服務撥測+告警，取代了原人工巡檢方式，實現(xiàn)即時查看內部銀行前置機與各銀行的業(yè)務服務連接狀態(tài)，一旦出現(xiàn)網絡連接異常，兩分鐘內發(fā)出告警通知，幫助運維早于業(yè)務發(fā)現(xiàn)問題，變被動響應為主動處置，從而減小對業(yè)務的影響。

02. 故事背景

資金管理系統(tǒng)是財務公司最重要的業(yè)務系統(tǒng)，由銀企直連系統(tǒng)①（簡稱：銀企系統(tǒng)）、網絡金融服務系統(tǒng)（簡稱：網銀系統(tǒng)）等多個子系統(tǒng)組成。

銀企系統(tǒng)通過內部的銀行前置機，利用專線與各家銀行對接，中間涉及內部網絡設備、專線網絡以及對端的銀行網絡設備三個部分，如果中間某個環(huán)節(jié)網絡出現(xiàn)問題，將直接導致銀企系統(tǒng)功能不可用。令該財務公司運維團隊頭痛的是：如何端到端對專線的可用性進行監(jiān)測，曾經嘗試過手工登錄到前置機，利用telnet命令檢查的方法，但由于以下兩個問題被棄用。

• 各家銀行使用的通訊端口不同（例如：農行 TCP14031/14029，中行/民生銀行 TCP 443，交通銀行 TCP9003 等），手工對線路連通性檢查繁瑣，每次耗時20分鐘以上；
• 手工檢查時效差，無法第一時間發(fā)現(xiàn)故障，通常業(yè)務報障才發(fā)現(xiàn)，運維陷入被動；

過往發(fā)生過相關故障，業(yè)務部門投訴無法在銀企系統(tǒng)上完成對農行的轉賬，IT運維緊急聯(lián)系運營商，最終定位到是農行的網絡設備老化，對端的接口連接狀態(tài)出現(xiàn)異常。業(yè)務受影響長達2個多小時，IT被記過處分。

備注①：銀企直連系統(tǒng)是利用運營商專線，使企業(yè)的財務系統(tǒng)與銀行綜合業(yè)務系統(tǒng)實現(xiàn)對接，企業(yè)無需專門登錄網上銀行，就可以利用自身財務系統(tǒng)自主完成對其銀行賬戶包括分(子)公司銀行賬戶的查詢、轉賬、資金歸集、信息下載等功能，并在財務系統(tǒng)中自動登記賬務信息，免去了以往財務系統(tǒng)、網銀系統(tǒng)兩次指令錄入的過程，提高了工作效率，確保了財務系統(tǒng)與銀行綜合業(yè)務系統(tǒng)賬戶信息的一致性。

03. WeOps應對及效果

用WeOps服務撥測+告警，監(jiān)測前置機到銀行的服務連接狀態(tài)

① 對所有前置機批量下發(fā)代理，集中監(jiān)管

② 利用WeOps服務撥測功能，使用TCP協(xié)議，以各個前置機為撥測節(jié)點，對各家銀行的服務端口配置撥測任務，對連接狀態(tài)的可用性和響應時長進行實時監(jiān)測

③ 針對“可用性”和“響應時長”配置告警，當出現(xiàn)“可用性”小于100%、“響應時長”超過1s時，產生“致命”告警

④ 相關告警信息通過郵件和短信方式發(fā)送至指定運維同事。

04. WeOps實現(xiàn)效果

1）用簡單的方法解決專線端到端網絡可用性監(jiān)測的難題

• 即時檢查：通過WeOps服務撥測，立即查看到當前及任一時間段內與各銀行服務端口的連接狀態(tài)，感知專線端到端的網絡連接情況。
• 及時發(fā)現(xiàn)：一旦網絡聯(lián)通性出現(xiàn)問題，在兩分鐘內推送“致命”告警通知，讓運維人員快速察覺故障，主動采取措施處置，加快故障的消除，減小對業(yè)務影響；

2）場景適用性

該專線連通性監(jiān)測的場景，適用于內部核心業(yè)務系統(tǒng)與外部第三方對接，且對連通性有高要求的企業(yè)，如金融企業(yè)等，WeOps撥測功能，幫助企業(yè)實時監(jiān)測專線可用性，及時發(fā)現(xiàn)異常，縮短對業(yè)務影響時間。