數(shù)據(jù)變換Transforms

心得體會

1. MindSpore提供了豐富的數(shù)據(jù)變換工具，針對圖像數(shù)據(jù)可以使用如Rescale、Normalize和HWC2CHW等，且使用Compose類允許我們定義一個(gè)變換序列，并將它們作為一個(gè)整體應(yīng)用到數(shù)據(jù)上。

composed = transforms.Compose([vision.Rescale(1.0 / 255.0, 0),vision.Normalize(mean=(0.1307,), std=(0.3081,)),vision.HWC2CHW()]
)
train_dataset = train_dataset.map(composed, 'image')

3. MindSpore 還提供了處理文本數(shù)據(jù)常用步驟，分詞（Tokenize）和詞表映射（Lookup）

# 分詞
texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')
def my_tokenizer(content):return content.split()
test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

3.MindSpore 還支持Lambda函數(shù)對數(shù)據(jù)進(jìn)行自定義處理

test_dataset.map(lambda x: x * 2)