出處：?ICLR?workshop?2023

代碼：Jhryu30/AnomalyBERT

可視化效果：

一? 提出動機

動機：無監(jiān)督 TSAD 領(lǐng)域內(nèi)，“訓(xùn)練集” 也缺失：真值標(biāo)簽（GT）；換句話說，一個點在訓(xùn)練集內(nèi)是否異常是未知的? →? data degradation scheme

受 NLP 領(lǐng)域 BERT 的啟發(fā)，通過替換輸入數(shù)據(jù)的隨機部分，訓(xùn)練模型以找到退化部分來修改掩模語言建模（MLM）；此方法有助于檢測：真實的時序內(nèi)的各類非自然序列。

二? Methodology

1. 模型架構(gòu)：（基于 “預(yù)測” 的時序異常檢測方法）

2. 詳細講解：

2.2? 合成異常及數(shù)據(jù)增強?

隨機選擇每個時序窗口內(nèi)的時序片段，通過下列四種 “合成異常” 方式，進行相應(yīng)數(shù)據(jù)增強：?

1. 帶有窗口外部的加權(quán)序列（軟替換），替換為：原始區(qū)間和外部區(qū)間的加權(quán)和；

2. 恒定序列（統(tǒng)一替換）；

3. 加長或縮短的序列（長度調(diào)整）；

4. 單個峰值（峰值噪聲）。

2.3? 訓(xùn)練損失函數(shù)：(交叉熵損失)

三. 實驗結(jié)果