怎么優(yōu)化網(wǎng)站每日新聞
出處:?ICLR?workshop?2023
代碼:Jhryu30/AnomalyBERT
可視化效果:
一? 提出動機
動機:無監(jiān)督 TSAD 領(lǐng)域內(nèi),“訓(xùn)練集” 也缺失:真值標(biāo)簽(GT);換句話說,一個點在訓(xùn)練集內(nèi)是否異常是未知的? →? data degradation scheme
受 NLP 領(lǐng)域 BERT 的啟發(fā),通過替換輸入數(shù)據(jù)的隨機部分,訓(xùn)練模型以找到退化部分來修改掩模語言建模(MLM);此方法有助于檢測:真實的時序內(nèi)的各類非自然序列。
二? Methodology
1. 模型架構(gòu):(基于 “預(yù)測” 的時序異常檢測方法)
2. 詳細講解:
2.2? 合成異常及數(shù)據(jù)增強?
隨機選擇每個時序窗口內(nèi)的時序片段,通過下列四種 “合成異常” 方式,進行相應(yīng)數(shù)據(jù)增強:?
1. 帶有窗口外部的加權(quán)序列(軟替換),替換為:原始區(qū)間和外部區(qū)間的加權(quán)和;
2. 恒定序列(統(tǒng)一替換);
3. 加長或縮短的序列(長度調(diào)整);
4. 單個峰值(峰值噪聲)。
2.3? 訓(xùn)練損失函數(shù):(交叉熵損失)