1. 背景：

使用 mindspore 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，打卡第四天；

2. 訓(xùn)練的內(nèi)容：

使用 mindspore 的常見的數(shù)據(jù)變換 Transforms 的使用方法；

3. 常見的用法小節(jié)：

支持一系列常用的 Transforms 的操作

3.1 Vision Transforms 操作：

Rescale: 縮放，平移因子
Normalize: 圖像歸一化
HWC2CHW: 轉(zhuǎn)換圖像格式

# 接收一個(gè)數(shù)據(jù)增強(qiáng)操作序列，然后將其組合成單個(gè)數(shù)據(jù)增強(qiáng)操作
composed = transforms.Compose([vision.Rescale(1.0 / 255.0, 0),vision.Normalize(mean=(0.1307,), std=(0.3081,)),vision.HWC2CHW()]
)train_dataset = train_dataset.map(composed, 'image')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)

3.2 Text Transforms

文本數(shù)據(jù)需要有分詞（Tokenize）、構(gòu)建詞表、Token轉(zhuǎn)Index等操作。這里簡單介紹其使用方法

Tokenizer

# Tokenizer允許用戶自由實(shí)現(xiàn)分詞策略。隨后我們利用map操作將此分詞器應(yīng)用到輸入的文本中，對其進(jìn)行分詞
texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')def my_tokenizer(content):return content.split()test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

生成詞表

# 使用Vocab生成詞表。這里我們選擇使用Vocab.from_dataset方法從數(shù)據(jù)集中生成詞表
vocab = text.Vocab.from_dataset(test_dataset)
print(vocab.vocab())# 轉(zhuǎn)成 Index
test_dataset = test_dataset.map(text.Lookup(vocab))
print(next(test_dataset.create_tuple_iterator()))

3.3 Lambda Transforms

通過 lambda 函數(shù)進(jìn)行 transforms 變化

# Lambda函數(shù)是一種不需要名字的函數(shù)
test_dataset = GeneratorDataset([1, 2, 3], 'data', shuffle=False)
test_dataset = test_dataset.map(lambda x: x * 2)
print(list(test_dataset.create_tuple_iterator()))def func(x):return x * x + 2test_dataset = test_dataset.map(lambda x: func(x))print(list(test_dataset.create_tuple_iterator()))

活動(dòng)參與鏈接：

https://xihe.mindspore.cn/events/mindspore-training-camp