那天服務(wù)器又趴窩了

凌晨三點(diǎn)手機(jī)嗡嗡震，不用看就知道報(bào)警短信又炸了。用戶投訴頁(yè)面慢得跟烏龜爬似的，我爬起來(lái)披件衣服就沖向公司機(jī)房。服務(wù)器風(fēng)扇叫得跟拖拉機(jī)一樣，得，準(zhǔn)是哪里又堵車了。這已經(jīng)不是第一次了，再不想轍老板怕是要讓我卷鋪蓋走人。

工具箱掏出來(lái)挨個(gè)試

二話不說(shuō)先接上終端。第一步top命令拍臉上。一看CPU爆到99%，好幾個(gè)叫“訂單處理”的進(jìn)程快把服務(wù)器吸干了。其他指標(biāo)倒還負(fù)載像坐了火箭似的沖上兩位數(shù)。這不明擺著CPU是瓶頸嗎？趕緊把這幾個(gè)吸血鬼的進(jìn)程號(hào)記在小本本上。

內(nèi)存賬單對(duì)不上數(shù)

順手敲了個(gè)free -m。咦，8G內(nèi)存剩1.2G，但程序?qū)嶋H吃掉的內(nèi)存滿打滿算才3G多？剩下4G多憑空蒸發(fā)了？活見(jiàn)鬼！八成是內(nèi)存泄露在偷電。這時(shí)候可不能慌，默默打開(kāi)監(jiān)控記錄開(kāi)始拉曲線圖。

硬盤(pán)讀寫(xiě)像蝸牛

搬出iostat大殺器查硬盤(pán)。好家伙，某個(gè)硬盤(pán)的util值卡在98%死活下不來(lái)，讀寫(xiě)速度慢得像老爺車。用lsof一查，原來(lái)是個(gè)日志文件瘋狂輸出，半夜還這么拼真是服了。立馬把它挪到閑置的SSD上，硬盤(pán)瞬間喘過(guò)氣來(lái)了。

線程打架現(xiàn)場(chǎng)抓包

• jstack伺候那幾個(gè)CPU大戶進(jìn)程
• 把線程堆棧全扒拉出來(lái)
• 發(fā)現(xiàn)十幾個(gè)線程在搶同一把鎖
• 鎖的持有者居然卡在等網(wǎng)絡(luò)響應(yīng)

真相大白！外面API接口卡死，里面線程排長(zhǎng)隊(duì)干瞪眼。這設(shè)計(jì)真夠坑的。

掏了塊膠布出來(lái)

連夜給搶鎖那段代碼打補(bǔ)?。?/p>

• 加了超時(shí)控制
• 改成異步回調(diào)
• 線程池重調(diào)參數(shù)
• API調(diào)用方約談寫(xiě)血書(shū)

折騰到早上七點(diǎn)，負(fù)載從15降到0.8。老板拍肩說(shuō)請(qǐng)我吃燒烤——當(dāng)然用的是我自己的加班餐補(bǔ)。