模型構(gòu)建中的運(yùn)算

數(shù)據(jù)集是CONLL03
這個(gè)數(shù)據(jù)集共有4種實(shí)體類型，所以，在做實(shí)體描述的embedding時(shí)，得到的語(yǔ)義表示的Tensor大小為 ：
4*max_len,
具體指的是：

type_input_ids: torch.LongTensor = None,
type_attention_mask: torch.Tensor = None,
type_token_type_ids: torch.Tensor = None,

當(dāng)一個(gè)batch中數(shù)據(jù)數(shù)量設(shè)置為8時(shí)，得到的語(yǔ)義表示的Tensor大小為：8*max_len
具體指的是輸入中的：

input_ids: torch.LongTensor = None,
attention_mask: torch.Tensor = None,
token_type_ids: torch.Tensor = None,

輸入中的另外一個(gè)輸入：NER

linear的向量映射是從：768——>128維