中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁 > news >正文

湖北省建設(shè)質(zhì)量安全協(xié)會網(wǎng)站網(wǎng)站公司網(wǎng)站建設(shè)

湖北省建設(shè)質(zhì)量安全協(xié)會網(wǎng)站,網(wǎng)站公司網(wǎng)站建設(shè),aws服務(wù)器搭建wordpress,營銷型網(wǎng)站的付費(fèi)推廣渠道一、attention機(jī)制 注意力模型最近幾年在深度學(xué)習(xí)各個(gè)領(lǐng)域被廣泛使用,無論是圖像處理、語音識別還是自然語言處理的各種不同類型的任務(wù)中,都很容易遇到注意力模型的身影。從注意力模型的命名方式看,很明顯其借鑒了人類的注意力機(jī)制。我們來看…

一、attention機(jī)制

????注意力模型最近幾年在深度學(xué)習(xí)各個(gè)領(lǐng)域被廣泛使用,無論是圖像處理、語音識別還是自然語言處理的各種不同類型的任務(wù)中,都很容易遇到注意力模型的身影。從注意力模型的命名方式看,很明顯其借鑒了人類的注意力機(jī)制。我們來看下面的一張圖片。

????圖中形象化展示了人類在看到一副圖像時(shí)是如何高效分配有限的注意力資源的,其中紅色區(qū)域表明視覺系統(tǒng)更關(guān)注的目標(biāo),很明顯對于圖1所示的場景,人們會把注意力更多投入到人的臉部,文本的標(biāo)題以及文章首句等位置。

???視覺注意力機(jī)制是人類視覺所特有的大腦信號處理機(jī)制。人類視覺通過快速掃描全局圖像,獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域,也就是一般所說的注意力焦點(diǎn),而后對這一區(qū)域投入更多注意力資源,以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息,而抑制其他無用信息。深度學(xué)習(xí)中的注意力機(jī)制的核心就是讓網(wǎng)絡(luò)關(guān)注其更需要更重要的地方,注意力機(jī)制就是實(shí)現(xiàn)網(wǎng)絡(luò)自適應(yīng)的一個(gè)方式。

????注意力機(jī)制的本質(zhì)就是定位到感興趣的信息,抑制無用信息,結(jié)果通常都是以概率圖或者概率特征向量的形式展示,從原理上來說,主要分為空間注意力模型,通道注意力模型,空間和通道混合注意力模型三種。那么今天我們主要介紹通道注意力機(jī)制。

1、通道注意力機(jī)制

????通道注意力機(jī)制最經(jīng)典的應(yīng)用就是SENet(Sequeeze and Excitation Net),它通過建模各個(gè)特征通道的重要程度,然后針對不同的任務(wù)增強(qiáng)或者抑制不同的通道,原理圖如下。

?

???????在正常的卷積操作后分出了一個(gè)旁路分支,首先進(jìn)行Squeeze操作(即圖中Fsq(·)),它將空間維度進(jìn)行特征壓縮,即每個(gè)二維的特征圖變成一個(gè)實(shí)數(shù),相當(dāng)于具有全局感受野的池化操作,特征通道數(shù)不變。然后是Excitation操作(即圖中的Fex(·)),它通過參數(shù)w為每個(gè)特征通道生成權(quán)重,w被學(xué)習(xí)用來顯式地建模特征通道間的相關(guān)性。在文章中,使用了一個(gè)2層bottleneck結(jié)構(gòu)(先降維再升維)的全連接層+Sigmoid函數(shù)來實(shí)現(xiàn)。得到了每一個(gè)特征通道的權(quán)重之后,就將該權(quán)重應(yīng)用于原來的每個(gè)特征通道,基于特定的任務(wù),就可以學(xué)習(xí)到不同通道的重要性。作為一種通用的設(shè)計(jì)思想,它可以被用于任何現(xiàn)有網(wǎng)絡(luò),具有較強(qiáng)的實(shí)踐意義。

????綜上通道注意力計(jì)算公式總結(jié)為:

????關(guān)于通道注意力機(jī)制的原理就介紹到這里,想要了解具體原理的,大家可以參考文獻(xiàn):Squeeze-and-Excitation Networks

二、代碼實(shí)戰(zhàn)

clc
clear
?
close all
load Train.mat
% load Test.mat
Train.weekend = dummyvar(Train.weekend);
Train.month = dummyvar(Train.month);
Train = movevars(Train,{'weekend','month'},'After','demandLag');
Train.ts = [];
?
?
Train(1,:) =[];
y = Train.demand;
x = Train{:,2:5};
[xnorm,xopt] = mapminmax(x',0,1);
[ynorm,yopt] = mapminmax(y',0,1);
?
xnorm = xnorm(:,1:1000);
ynorm = ynorm(1:1000);
?
k = 24;           % 滯后長度
?
% 轉(zhuǎn)換成2-D image
for i = 1:length(ynorm)-k
?Train_xNorm{:,i} = xnorm(:,i:i+k-1);Train_yNorm(i) = ynorm(i+k-1);Train_y{i} = y(i+k-1);
end
Train_x = Train_xNorm';
?
ytest = Train.demand(1001:1170);
xtest = Train{1001:1170,2:5};
[xtestnorm] = mapminmax('apply', xtest',xopt);
[ytestnorm] = mapminmax('apply',ytest',yopt);
% xtestnorm = [xtestnorm; Train.weekend(1001:1170,:)'; Train.month(1001:1170,:)'];
xtest = xtest';
for i = 1:length(ytestnorm)-kTest_xNorm{:,i} = xtestnorm(:,i:i+k-1);Test_yNorm(i) = ytestnorm(i+k-1);Test_y(i) = ytest(i+k-1);
end
Test_x = Test_xNorm';
x_train = table(Train_x,Train_y');
x_test = table(Test_x);
%% 訓(xùn)練集和驗(yàn)證集劃分
% TrainSampleLength = length(Train_yNorm);
% validatasize = floor(TrainSampleLength * 0.1);
% Validata_xNorm = Train_xNorm(:,end - validatasize:end,:);
% Validata_yNorm = Train_yNorm(:,TrainSampleLength-validatasize:end);
% Validata_y = Train_y(TrainSampleLength-validatasize:end);
% 
% Train_xNorm = Train_xNorm(:,1:end-validatasize,:);
% Train_yNorm = Train_yNorm(:,1:end-validatasize);
% Train_y = Train_y(1:end-validatasize);
%% 構(gòu)建殘差神經(jīng)網(wǎng)絡(luò)
lgraph = layerGraph();
tempLayers = [imageInputLayer([4 24 1],"Name","imageinput")convolution2dLayer([3 3],32,"Name","conv","Padding","same")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [batchNormalizationLayer("Name","batchnorm")reluLayer("Name","relu")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [additionLayer(2,"Name","addition")convolution2dLayer([3 3],32,"Name","conv_1","Padding","same")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [batchNormalizationLayer("Name","batchnorm_1")reluLayer("Name","relu_1")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [additionLayer(2,"Name","addition_1")convolution2dLayer([3 3],32,"Name","conv_2","Padding","same")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [batchNormalizationLayer("Name","batchnorm_2")reluLayer("Name","relu_2")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [additionLayer(2,"Name","addition_2")convolution2dLayer([3 3],32,"Name","conv_3","Padding","same")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [batchNormalizationLayer("Name","batchnorm_3")reluLayer("Name","relu_3")];
lgraph?=?addLayers(lgraph,tempLayers);
tempLayers = [additionLayer(2,"Name","addition_4")sigmoidLayer("Name","sigmoid")];
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = multiplicationLayer(2,"Name","multiplication");
lgraph = addLayers(lgraph,tempLayers);
?
tempLayers = [additionLayer(3,"Name","addition_3")fullyConnectedLayer(32,"Name","fc1")fullyConnectedLayer(16,"Name","fc2")fullyConnectedLayer(1,"Name","fc3")regressionLayer("Name","regressionoutput")];
lgraph = addLayers(lgraph,tempLayers);
?
% 清理輔助變量
clear?tempLayers;
plot(lgraph);
analyzeNetwork(lgraph);
%% 設(shè)置網(wǎng)絡(luò)參數(shù)
maxEpochs = 100;
miniBatchSize = 32;
options = trainingOptions('adam', ...'MaxEpochs',maxEpochs, ...'MiniBatchSize',miniBatchSize, ...'InitialLearnRate',0.005, ...'GradientThreshold',1, ...'Shuffle','never', ...'Plots','training-progress',...'Verbose',0);
?
net = trainNetwork(x_train,lgraph ,options);
?
Predict_yNorm = predict(net,x_test);
Predict_y = double(Predict_yNorm);
plot(Test_y)
hold on 
plot(Predict_y)
legend('真實(shí)值','預(yù)測值')
?

?訓(xùn)練迭代圖:

試集預(yù)測曲線圖

完整代碼

http://www.risenshineclean.com/news/50019.html

相關(guān)文章:

  • 泰安正規(guī)的網(wǎng)站建設(shè)站長工具收錄
  • 做購物網(wǎng)站寫數(shù)據(jù)庫的流程網(wǎng)絡(luò)營銷成功案例有哪些2022
  • 東營企業(yè)網(wǎng)站排名seo服務(wù)外包報(bào)價(jià)
  • 網(wǎng)站創(chuàng)作規(guī)劃百度搜圖
  • 山東省城鄉(xiāng)建設(shè)廳官網(wǎng)seo經(jīng)典案例分析
  • 衡水wap網(wǎng)站建設(shè)會計(jì)培訓(xùn)班的費(fèi)用是多少
  • 可以查企業(yè)備案的網(wǎng)站最新軍事新聞事件今天
  • 深圳專業(yè)網(wǎng)站制作多少錢十大騙子教育培訓(xùn)機(jī)構(gòu)
  • 武漢設(shè)計(jì)網(wǎng)優(yōu)化seo系統(tǒng)
  • 國外做文化的網(wǎng)站如何搭建網(wǎng)站平臺
  • 水果網(wǎng)站設(shè)計(jì)論文營銷案例分析報(bào)告模板
  • 建筑模板生產(chǎn)廠家東莞seo外包平臺
  • 福田附近網(wǎng)站建設(shè)怎么自己搭建網(wǎng)站
  • python做調(diào)查問卷網(wǎng)站百度指數(shù)批量
  • 廣西南寧生活網(wǎng)百度推廣優(yōu)化
  • 廣東省城鄉(xiāng)與住房建設(shè)廳網(wǎng)站網(wǎng)站seo優(yōu)化培訓(xùn)
  • 羽毛球賽事策劃方案石家莊seo推廣公司
  • 唐山做網(wǎng)站建設(shè)公司搜索引擎數(shù)據(jù)庫
  • 如何規(guī)劃網(wǎng)站欄目建網(wǎng)站用什么軟件
  • 南陽響應(yīng)式網(wǎng)站seo基礎(chǔ)入門
  • 江蘇煙草電商網(wǎng)站電商網(wǎng)站搭建
  • 泰安可以做網(wǎng)站的公司好搜網(wǎng)惠州seo
  • 交河做網(wǎng)站價(jià)格深圳網(wǎng)絡(luò)推廣外包公司
  • 網(wǎng)站沒有備案可以做百度推廣嗎關(guān)鍵詞如何確定
  • 微信后臺怎么做微網(wǎng)站磁力棒
  • 孝感網(wǎng)站建設(shè)公司站點(diǎn)推廣是什么意思
  • a站免費(fèi)最好看的電影片推薦百度推廣怎么推廣
  • 網(wǎng)站建設(shè)肆金手指排名8模板建站公司
  • 網(wǎng)站如何做頁數(shù)無憂seo博客
  • 創(chuàng)辦個(gè)人網(wǎng)站交換友情鏈接的注意事項(xiàng)