跳到內容
主控台

強震即時警報的轉發串流從 Lua 搬到 Go

DPIP 與 TREM-Lite 上的強震即時警報(CWA EEW)由中央氣象署發布,我們的伺服器負責轉發給 App。這條轉發用的串流(下面簡稱速報串流)到 11/16 為止,都是負載平衡入口上 OpenResty 裡的一段 Lua;即時震度(RTS)的串流則在我們用 Go 寫的 SSE 伺服器 sse-server-go 上執行。TREM-Lite 連速報串流比連 RTS 容易斷。11/16 04:00 到 09:20(臺灣時間,下同),TREM-Lite 在速報串流上的連線平均只維持 23 分鐘,在 RTS 上是 36 分鐘。

11/17 凌晨 02:30 到 03:01,我們把速報串流搬進 sse-server-go,兩台負載平衡入口上負責這條串流的 Lua 全部拿掉。

lb-tpe1 與 lb-khh1 這兩台負載平衡入口(LB)上執行的是 OpenResty,速報串流整個做在 OpenResty 裡。一個 worker 向訊息叢集訂閱上游的警報,收到訊息後,透過跨 worker 的事件元件 lua-resty-events 叫醒其他 worker。每一條連線各自等在一個 semaphore 上,有新內容就送出,沒有內容時每 60 秒送一次心跳。同一份資料也供應一個輪詢用的 GET,帶 ETag,內容沒變就回 304 Not Modified。

這段 Lua 每台 LB 有 529 行:串流中樞 185 行、訊息叢集的用戶端 318 行、壓縮 26 行,另外兩份 server 設定裡也有 Lua 區塊。為了裝上 lua-resty-events 的核心模組,我們從原始碼重新編譯 nginx,OpenResty 的 Dockerfile 因此有 112 行。

輪詢 GET 的流量不小。11/16 04:00 到 09:20,lb-tpe1 上平均每秒有 79.7 個請求,其中 76.4% 回 304。

其他串流早就不在 Lua 裡。2025 年 9 月起,我們陸續把服務改用 Go 重寫(見從 JavaScript 到 Golang),RTS、震度速報與地震報告的串流都在 sse-server-go 上,LB 上還留在 Lua 裡的只剩速報串流。

斷線的差距只出現在 TREM-Lite。DPIP 在兩條串流上的連線平均都不到 3 分鐘,速報串流 173 秒、RTS 169 秒,看不出差別。

原因在心跳。Lua 版每條連線等 60 秒,醒來後再檢查距離上次送出是否已滿 60 秒,滿了才送心跳。有一部分連線算出來差一點點不到 60 秒,這一輪就沒送,要到第 120 秒才送出第一次心跳。TREM-Lite 太久沒收到任何位元組,就會當作斷線並重連,目前的版本是 90 秒;DPIP 的門檻是 132 秒,不受影響。11/16 04:00 到 09:20,TREM-Lite 有 255 條速報串流連線剛好在第 120 秒結束,這些連線除了開頭的資料,一次心跳都沒有送出。

Lua 版還有兩個行為跟我們要的不一樣。警報過了有效時間,Lua 版要等上游送來下一則訊息才會清掉,上游一直沒有新訊息時,過期的警報就可能留在快照裡。同一毫秒內來了兩次更新,Lua 版會丟掉第二次。

11/16 晚上準備切換時,我們又找到一個問題。訊息叢集的用戶端在 timer 裡用迴圈重連,沒有檢查 worker 是不是正在結束。每次重新載入設定,舊 worker 的連線被關掉,迴圈就再連回去,舊 worker 因此一直不退出。lb-tpe1 上累積了 24 個這樣的舊 worker,最久的已經留了 23 天,合計約 1.8 GB 記憶體,每一個都還保留著一份重複的訂閱。另一個寫法相同的 Lua 模組也有這個問題。當晚我們修好迴圈,清掉了這些舊 worker。

RTS 在 sse-server-go 上一直很穩,所以我們把速報串流也搬過去。

新的速報模組放在 sse-server-go 裡。它從三個上游來源接收警報,合成一份快照,內容是目前仍然有效的警報清單:

  • 同一個地震事件只保留報數(serial)最大的那一則。
  • 發震時間過了 240 秒的警報從快照移除。每秒檢查一次有沒有過期,不等上游的下一則訊息。
  • 內容沒有變就不重新送出。
  • 快照的版本號嚴格遞增,同一毫秒內的兩次更新都會送出。

每份快照只壓縮一次,所有連線共用同一份結果。新連線一連上就先收到目前的快照;消化不及的用戶端只保留最新的一份,不會累積一串舊的。

舊版 App 不需要更新。舊的速報串流與輪詢 GET 都還在,改由 sse-server-go 從同一份快照產生,沿用原本的格式,輸出逐位元組相同。這兩個介面已經列為棄用,沒有訂停止的日期。

這個模組約 736 行 Go,另外寫了 880 行測試,測試都開啟 race detector 執行。

搬進 Go 之後,速報串流的每一條連線也要經過 OpenResty 轉給 sse-server-go。這一段原本走 TCP,每一條轉到後端的 SSE 連線都佔用 OpenResty 一個來源埠,連到同一個目的地最多約 55,000 個;在連線追蹤表(conntrack)裡,每條 SSE 連線也佔兩筆,用戶端到 LB 一筆,LB 到後端一筆。lb-tpe1 過去 7 天 SSE 與 WebSocket 的同時連線數最高 22,583 條,我們以 10 萬條為目標準備容量。

這次 OpenResty 改用 unix socket 連 sse-server-go,TCP 留著當備援。SSE 連線不再佔用來源埠,在 conntrack 裡每條只佔一筆。03:01 換好之後,lb-tpe1 上 OpenResty 連到後端的 TCP 連線從 496 條降到 0 條。

Lua 拿掉之後,自己編譯 nginx 的理由也沒了,OpenResty 改用官方映像檔,只多裝 sqlite。

項目 之前 之後
OpenResty 的 Dockerfile 112 行 12 行
OpenResty 映像檔,lb-khh1 311 MB 236 MB
OpenResty 映像檔,lb-tpe1 213 MB 162 MB
每條 SSE 連線的 conntrack 項目 2 筆 1 筆

兩台 LB 一次換一台,先換 lb-khh1。

時間 事件
02:30 lb-khh1 換上新版後端,/api/v1/trem/sse/report 在這台停用
約 02:30 服務狀態頁對地震報告串流的探測開始失敗
02:31 lb-khh1 的 OpenResty 重新載入設定
02:31 內部的速報串流監控開始失敗
02:35 lb-tpe1 換上新版後端並重新載入設定,/api/v1/trem/sse/report 在這台停用
02:43 修正版上線,改成回報實際的上游連線狀態
02:43 內部監控恢復
02:45 地震報告串流的探測改成請求 /api/v1/cwa/sse/report,恢復正常
02:49 服務狀態頁自己的設定改成新網址
02:58 lb-khh1 重新啟動 OpenResty,換上 unix socket 與新映像檔
03:01 lb-tpe1 重新啟動 OpenResty,換上 unix socket 與新映像檔

重新載入設定時沒有出現任何 5xx,舊的 worker 都在 30 秒的期限內結束。OpenResty 本身重新啟動的那兩次不一樣,每次啟動期間約有 10 秒回 502 或 503。另外,後端每重新啟動一次,所有連線都會被切斷一次,要由用戶端自己重連。

新的程式只訂閱警報,沒有發布警報的權限。每次重新啟動前,我們都先從日誌確認當下沒有生效中的警報。驗證只看日誌與監控指標,沒有送出任何測試警報,也沒有對正式的速報串流開測試連線。

切換時,我們弄壞了自己的兩組監控。

第一組是服務狀態頁對地震報告串流的探測。/api/v1/trem/sse/report 隨著兩台 LB 換上新後端,在 02:30 到 02:35 之間停用,探測卻還在請求這個路徑,從 02:30 左右開始失敗;02:45 我們把探測改成 /api/v1/cwa/sse/report 之後才恢復。這段期間服務狀態頁送出了中斷與恢復通知。服務狀態頁自己的設定 02:49 才更新,所以這些通知上顯示的仍是舊網址。收到這些通知的人,我們在這裡道歉。

第二組是內部的速報串流監控。舊的速報串流會在回應裡標示伺服器跟上游的連線是否正常,我們的內部監控看的就是這一項。新的伺服器在收到第一則警報之前,這一項都回報「尚未啟動」,那天夜裡沒有警報,它就一直停在這個狀態。內部監控從 02:31 開始失敗,02:43 修正版改成回報實際的上游連線狀態後恢復。

兩件事的原因一樣。探測和監控也是用戶端,我們卻把它們留到伺服器換好之後才改。它們依賴的路徑和那一項狀態,應該在換伺服器的同一步一起改。結果地震報告串流的探測錯了約 15 分鐘,內部監控錯了 12 分鐘。

服務狀態頁之後新增了「強震即時警報串流」一列,涵蓋 TPE-1、KHH-1 與 Auto,探測的網址不顯示。

下面比較 lb-tpe1 兩個早上的資料,都是 04:00 到 09:20:11/16 是 Lua 時期,11/17 是 Go 時期,兩天都是平日。連線長度取自存取紀錄,App 以 User-Agent 區分。

項目 Lua(11/16) Go(11/17)
TREM-Lite 速報串流的平均連線長度 23 分鐘 32 分鐘
TREM-Lite RTS 的平均連線長度(對照) 36 分鐘 32 分鐘
DPIP 速報串流的平均連線長度 173 秒 177 秒
DPIP RTS 的平均連線長度(對照) 169 秒 176 秒
TREM-Lite 速報串流剛好在第 120 秒結束的連線 255 條 0 條
輪詢 GET,每秒請求數 79.7 83.7
輪詢 GET,回 304 的比例 76.4% 77.2%
輪詢 GET 的回應時間 低於 1 ms 中位數 1 ms,p99 3 ms
速報串流與輪詢 GET 的 5xx 0 0

TREM-Lite 的速報串流連線平均從 23 分鐘拉長到 32 分鐘。同一段時間,RTS 從 36 分鐘變成 32 分鐘,兩條串流的差距不見了。DPIP 在兩個時期都差不多。

剛好在第 120 秒結束的連線不見了。Go 版的心跳由一個計時器統一送出,不會漏送。

輪詢 GET 現在多走一段:OpenResty 把請求轉給 sse-server-go。Lua 版在 OpenResty 裡直接回應,紀錄上的時間都低於 1 ms;現在中位數 1 ms,p99 3 ms。

LB 主機整體的數字也降了,但不能全算在搬遷上。前面提到的舊 worker 是 11/16 晚上清掉的,剛好落在兩個時段之間,下表是兩件事加起來的結果,分不出各自佔多少。兩個時段的負載差不多:同時 SSE 連線數平均 6,627 與 6,584 條,總請求數 357 萬與 374 萬。

lb-tpe1 主機 Lua(11/16) Go(11/17)
CPU 使用率,平均 21.6% 16.5%
conntrack 項目,平均/尖峰 13,328/37,670 11,152/24,430
記憶體用量,平均 5.4 GB 3.9 GB

這只是一個早上、一台 LB 的資料。TREM-Lite 的樣本不大,每條串流在每個時段只有約 1,000 到 2,800 條連線。

Go 時期還有一種中斷。11/17 04:00 到 09:20,有 144 條 TREM-Lite 連線在約 116.5 秒時斷掉,速報串流 97 條、休眠模式的 RTS 47 條。它們全部來自 6 個 IP,中斷都發生在伺服器送心跳的那一秒;每秒都有資料的 live 模式 RTS,一條都沒有斷。Lua 時期的 RTS 也有同樣的中斷。

這幾個用戶端的網路,看起來會切掉閒置約 60 秒的連線,正好跟 60 秒一次的心跳賽跑。連線在心跳那一刻被切,用戶端約 3.5 秒後重連,下一次心跳 56.5 秒後就到,還來得及;再下一次隔滿 60 秒,就來不及了。

11/17 10:13,我們把心跳改成 30 秒一次。每條連線每分鐘多一次心跳,約 20 位元組;lb-tpe1 約 7,000 條連線,合計每秒多約 2 KB,不到 SSE 總流量的 1%。用戶端判斷斷線的建議不變:90 秒沒收到任何位元組就重連,見心跳。

改完之後到 12:45,TREM-Lite 沒有任何一條連線在約 116.5 秒中斷,前一天同一時段有 28 條。這段時間不少 TREM-Lite 用戶換到了新版,連線數跟前一天不能直接比,所以我們另外追了 11/17 04:00 到 10:13 被切過 3 次以上的 7 個 IP。其中 3 個在改完之後留下 10 條連線,沒有一條中斷;一個還在用舊版的,有一條連線撐了 61 分鐘,它在改之前的 88 條連線裡有 19 條被切。另外 4 個 IP 在這段時間沒有留下已結束的連線紀錄。

改設定要重新啟動 sse-server-go,這次是在白天。10:13 那一分鐘,lb-tpe1 回了 4,222 次 502,SSE 連線數從約 9,200 條掉到約 6,200 條,到 12:30 才回到約 8,500 條。被切斷的 DPIP 連線只有約一成在停機那幾秒裡重試,一分鐘內就連回來;其餘的在之後幾分鐘到幾小時內才陸續出現。

App 也在改。11/17 09:33 發布的 TREM-Lite 26w47a 預覽版改成只開一條連線,取代原本的兩條;地震報告改成啟動時抓一次列表,之後跟著地震報告串流更新。DPIP 的同樣修改還在測試。「搬完之後」04:00 到 09:20 的資料都在這個版本發布之前,量到的是舊版 App。

如果你的程式還在連 /api/v1/trem/sse/report,這個路徑 11/17 已經停用,請改連 /api/v1/cwa/sse/report,或用 /api/v1/sse 在一條連線上收多個 topic。三個多工入口的差別見 SSE 連線。