項(xiàng)目源碼獲取方式見(jiàn)文章末尾！ 回復(fù)暗號(hào)：13，免費(fèi)獲取600多個(gè)深度學(xué)習(xí)項(xiàng)目資料，快來(lái)加入社群一起學(xué)習(xí)吧。

        **《------往期經(jīng)典推薦------》**

項(xiàng)目名稱
1.【基于PyQT+FaceNet卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的學(xué)生人臉識(shí)別考勤系統(tǒng)】
2.【衛(wèi)星圖像道路檢測(cè)DeepLabV3Plus模型】
3.【GAN模型實(shí)現(xiàn)二次元頭像生成】
4.【CNN模型實(shí)現(xiàn)mnist手寫數(shù)字識(shí)別】
5.【fasterRCNN模型實(shí)現(xiàn)飛機(jī)類目標(biāo)檢測(cè)】
6.【CNN-LSTM住宅用電量預(yù)測(cè)】
7.【VGG16模型實(shí)現(xiàn)新冠肺炎圖片多分類】
8.【AlexNet模型實(shí)現(xiàn)鳥類識(shí)別】
9.【DIN模型實(shí)現(xiàn)推薦算法】
10.【FiBiNET模型實(shí)現(xiàn)推薦算法】
11.【鋼板表面缺陷檢測(cè)基于HRNET模型】
…

1. 項(xiàng)目簡(jiǎn)介

項(xiàng)目“A064-基于DDPG算法的股票量化交易”旨在利用深度強(qiáng)化學(xué)習(xí)技術(shù)構(gòu)建智能化股票交易系統(tǒng)，優(yōu)化投資組合管理和交易策略。該項(xiàng)目基于深度確定性策略梯度（DDPG）算法，它是一種結(jié)合了策略梯度和Q學(xué)習(xí)的深度強(qiáng)化學(xué)習(xí)方法，適用于連續(xù)動(dòng)作空間的任務(wù)。在金融交易領(lǐng)域，股票市場(chǎng)的復(fù)雜性和波動(dòng)性使得傳統(tǒng)的交易策略往往難以應(yīng)對(duì)，因此通過(guò)機(jī)器學(xué)習(xí)尤其是深度強(qiáng)化學(xué)習(xí)模型，能夠在未知的環(huán)境中自主學(xué)習(xí)并執(zhí)行復(fù)雜的交易策略，提升長(zhǎng)期收益和風(fēng)險(xiǎn)管理能力。項(xiàng)目的主要目標(biāo)是通過(guò)對(duì)歷史數(shù)據(jù)的學(xué)習(xí)，訓(xùn)練一個(gè)智能體，能夠在實(shí)際市場(chǎng)中進(jìn)行自動(dòng)化交易，決策買賣時(shí)機(jī)并優(yōu)化投資回報(bào)。DDPG模型通過(guò)引入演員-評(píng)論家框架，利用深度神經(jīng)網(wǎng)絡(luò)來(lái)評(píng)估狀態(tài)和選擇最佳行動(dòng)，并通過(guò)與環(huán)境的交互不斷優(yōu)化交易策略。該模型的應(yīng)用場(chǎng)景廣泛，包括量化交易、投資組合優(yōu)化以及其他金融決策領(lǐng)域。

2.技術(shù)創(chuàng)新點(diǎn)摘要

基于DDPG算法的強(qiáng)化學(xué)習(xí)環(huán)境設(shè)計(jì)：該項(xiàng)目采用了深度確定性策略梯度（DDPG）算法，專門針對(duì)股票市場(chǎng)這一復(fù)雜且具有連續(xù)動(dòng)作空間的場(chǎng)景進(jìn)行優(yōu)化。DDPG算法結(jié)合了策略梯度方法和Q學(xué)習(xí)，能夠處理股票交易中復(fù)雜的連續(xù)決策問(wèn)題。特別是在交易過(guò)程中，股票的買賣動(dòng)作是連續(xù)的，通過(guò)DDPG的連續(xù)動(dòng)作選擇能力，能夠?qū)崿F(xiàn)對(duì)股票買賣決策的精細(xì)化控制。

專為金融市場(chǎng)定制的強(qiáng)化學(xué)習(xí)環(huán)境：項(xiàng)目定義了一個(gè)專門用于股票交易的強(qiáng)化學(xué)習(xí)環(huán)境，利用Gym庫(kù)進(jìn)行了擴(kuò)展。這一環(huán)境的狀態(tài)空間包含20個(gè)屬性變量，反映了股票的多維度特征，涵蓋了歷史股價(jià)、成交量、財(cái)務(wù)數(shù)據(jù)等。這些變量經(jīng)過(guò)歸一化處理，以確保算法的穩(wěn)定性。此外，動(dòng)作空間被定義為連續(xù)動(dòng)作，即智能體可以根據(jù)市場(chǎng)狀態(tài)選擇買入、賣出或者觀望，每一個(gè)動(dòng)作都對(duì)應(yīng)具體的百分比操作。這種設(shè)計(jì)充分考慮了股票市場(chǎng)的特點(diǎn)，能夠模擬出更加真實(shí)的交易場(chǎng)景。

高效的經(jīng)驗(yàn)回放機(jī)制：該項(xiàng)目實(shí)現(xiàn)了一個(gè)經(jīng)驗(yàn)回放緩沖池（ReplayBuffer），用于存儲(chǔ)智能體與環(huán)境交互過(guò)程中的經(jīng)驗(yàn)。這種機(jī)制能夠讓智能體從過(guò)往經(jīng)驗(yàn)中進(jìn)行多次學(xué)習(xí)，從而提高學(xué)習(xí)效率，并避免強(qiáng)化學(xué)習(xí)中因樣本相關(guān)性導(dǎo)致的不穩(wěn)定性。通過(guò)對(duì)經(jīng)驗(yàn)的隨機(jī)抽樣，打破了時(shí)間上的相關(guān)性，使得算法在訓(xùn)練過(guò)程中表現(xiàn)得更加穩(wěn)定。

多策略網(wǎng)絡(luò)架構(gòu)：項(xiàng)目采用了演員-評(píng)論家架構(gòu)，分別使用兩個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行不同的任務(wù)。演員網(wǎng)絡(luò)用于生成股票買賣的策略，而評(píng)論家網(wǎng)絡(luò)則評(píng)估當(dāng)前策略的價(jià)值。通過(guò)這種雙網(wǎng)絡(luò)的設(shè)置，能夠有效地分離策略評(píng)估和策略生成的過(guò)程，從而使得模型在復(fù)雜的金融環(huán)境中表現(xiàn)得更加靈活和高效。

3. 數(shù)據(jù)集與預(yù)處理

本項(xiàng)目使用的股票數(shù)據(jù)集來(lái)源于第三方金融數(shù)據(jù)平臺(tái)baostock，這是一款免費(fèi)的股票數(shù)據(jù)API接口，提供了多維度的股票歷史數(shù)據(jù)，包括每日開(kāi)盤價(jià)、收盤價(jià)、最高價(jià)、最低價(jià)、成交量、成交額等關(guān)鍵指標(biāo)。該數(shù)據(jù)集覆蓋了較長(zhǎng)時(shí)間跨度的股票市場(chǎng)歷史數(shù)據(jù)，為模型的訓(xùn)練和驗(yàn)證提供了可靠的數(shù)據(jù)支持。

數(shù)據(jù)預(yù)處理流程

該問(wèn)題可以被建模為一個(gè)強(qiáng)化學(xué)習(xí)問(wèn)題。在此場(chǎng)景下，人即為智能體，股票市場(chǎng)為環(huán)境，人通過(guò)對(duì)股票做出決策，即與環(huán)境交互后，會(huì)獲得股票當(dāng)前的狀態(tài)。在此項(xiàng)目中，股票狀態(tài)包含20個(gè)屬性變量，包含所采用第三方股票數(shù)據(jù)包baostock的一些股票屬性和基于此計(jì)算得到的一些屬性變量，分別為：

屬性名	含義
open	當(dāng)天開(kāi)盤價(jià)格
high	最高價(jià)格
low	最低價(jià)格
close	收盤價(jià)格
volume	成交量
amount	成交額
adjustflag	賦權(quán)狀態(tài)（1：后復(fù)權(quán)，2：前復(fù)權(quán)，3：不復(fù)權(quán)）
tradestatus	交易狀態(tài)（1：正常交易，0：停牌）
pctChg	漲跌幅（百分比）
peTTM	滾動(dòng)市盈率
pbMRQ	市凈率
psTTM	滾動(dòng)市銷率
balance	當(dāng)前擁有的金錢
max_net_worth	最大資產(chǎn)凈值
net_worth	當(dāng)前資產(chǎn)凈值
shares_held	持有的手?jǐn)?shù)
cost_basis	即時(shí)買入價(jià)格
total_shares_sold	總共拋出的手?jǐn)?shù)
total_sales_value	總共拋出的價(jià)值

NOTE：上述屬性值均會(huì)經(jīng)過(guò)歸一化處理，因此在此項(xiàng)目中，狀態(tài)為一個(gè)長(zhǎng)度為20的一維向量，其中每一個(gè)值的值域均為$[0,1]$。

1. 缺失值處理：在股票數(shù)據(jù)中，某些財(cái)務(wù)指標(biāo)或歷史價(jià)格可能存在缺失值（例如市盈率、市凈率等）。在項(xiàng)目中，首先對(duì)這些缺失值進(jìn)行了處理，通過(guò)簡(jiǎn)單的填充或剔除的方式來(lái)確保數(shù)據(jù)的完整性。比如，當(dāng)市盈率或市凈率等指標(biāo)為NaN時(shí)，用0替代。
2. 歸一化處理：為了使數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中能夠更好地被處理，所有數(shù)值型的特征（如開(kāi)盤價(jià)、收盤價(jià)等）都經(jīng)過(guò)了歸一化處理。歸一化的范圍為0到1，通過(guò)將原始數(shù)據(jù)除以預(yù)設(shè)的最大值（如最大股價(jià)、最大成交量等），確保模型在訓(xùn)練過(guò)程中數(shù)值的穩(wěn)定性，防止因數(shù)值差異過(guò)大而導(dǎo)致的梯度爆炸或消失問(wèn)題。
3. 特征選擇與構(gòu)建：項(xiàng)目的輸入特征不僅包含了基本的股票價(jià)格、成交量等常見(jiàn)的交易數(shù)據(jù)，還通過(guò)財(cái)務(wù)數(shù)據(jù)擴(kuò)展了額外的特征，如市盈率（PE）、市凈率（PB）、市銷率（PS）等財(cái)務(wù)指標(biāo)。這些財(cái)務(wù)特征為模型提供了更加全面的股票狀態(tài)描述，幫助智能體在決策時(shí)能夠更好地判斷股票的內(nèi)在價(jià)值和市場(chǎng)趨勢(shì)。此外，還計(jì)算了若干技術(shù)指標(biāo)（如移動(dòng)平均線、相對(duì)強(qiáng)弱指數(shù)等）以增強(qiáng)特征工程，提升模型的決策能力。
4. 時(shí)間序列處理：由于股票交易本質(zhì)上是一個(gè)時(shí)間序列決策問(wèn)題，項(xiàng)目將歷史時(shí)間點(diǎn)的數(shù)據(jù)作為當(dāng)前狀態(tài)的一部分。通過(guò)這種方式，智能體能夠基于過(guò)去的趨勢(shì)來(lái)預(yù)測(cè)未來(lái)的市場(chǎng)變化，從而做出更加合理的交易決策。

4. 模型架構(gòu)

1) 模型結(jié)構(gòu)的邏輯

本項(xiàng)目采用了DDPG（深度確定性策略梯度）算法，它是一種基于Actor-Critic架構(gòu)的強(qiáng)化學(xué)習(xí)模型，特別適用于連續(xù)動(dòng)作空間的問(wèn)題。在該架構(gòu)中，模型由兩個(gè)主要部分組成：

• Actor（演員）網(wǎng)絡(luò)：負(fù)責(zé)生成動(dòng)作，即在股票交易場(chǎng)景中，它輸出買入、賣出或觀望的策略。網(wǎng)絡(luò)輸入的是當(dāng)前股票的狀態(tài)（如價(jià)格、成交量等），輸出動(dòng)作是一個(gè)連續(xù)值，表示不同的交易行為及其比例。
• Critic（評(píng)論家）網(wǎng)絡(luò)：用于評(píng)估Actor所采取的動(dòng)作的價(jià)值，即Q值。它通過(guò)評(píng)估當(dāng)前的狀態(tài)-動(dòng)作對(duì)來(lái)計(jì)算該策略的長(zhǎng)期預(yù)期回報(bào)。通過(guò)Q值的反饋，Actor網(wǎng)絡(luò)會(huì)逐步更新策略，使其更符合最優(yōu)的交易決策。

此外，項(xiàng)目還設(shè)計(jì)了兩個(gè)目標(biāo)網(wǎng)絡(luò)（Target Networks）用于穩(wěn)定訓(xùn)練：分別為目標(biāo)Actor網(wǎng)絡(luò)和目標(biāo)Critic網(wǎng)絡(luò)，用于軟更新，以避免策略的劇烈變化影響模型的穩(wěn)定性。

2) 模型的整體訓(xùn)練流程

DDPG應(yīng)用于股票交易項(xiàng)目流程包含如下6個(gè)步驟：

1. 環(huán)境構(gòu)建：繼承gym.env，構(gòu)建股票交易環(huán)境StockEnv；
2. 容器構(gòu)建：設(shè)計(jì)帶有存儲(chǔ)數(shù)據(jù)和隨機(jī)采樣的容器buffer；
3. 模型構(gòu)建：設(shè)計(jì)model，定義具體的算法，其中包括設(shè)計(jì)前向網(wǎng)絡(luò)，指定損失函數(shù)及優(yōu)化器；
4. 訓(xùn)練配置：定義超參數(shù)，加載實(shí)驗(yàn)環(huán)境，實(shí)例化模型；
5. 模型訓(xùn)練：執(zhí)行多輪訓(xùn)練，不斷調(diào)整參數(shù)，以達(dá)到較好的效果；
6. 模型評(píng)估：對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估測(cè)試，觀察reward；
7. 模型保存：將模型保存到指定位置，以便后續(xù)推理或繼續(xù)訓(xùn)練使用；
8. 模型測(cè)試：在測(cè)試集數(shù)據(jù)中測(cè)試模型的表現(xiàn)。

5. 核心代碼詳細(xì)講解

1. Actor網(wǎng)絡(luò)（動(dòng)作網(wǎng)絡(luò)）

class Actor(nn.Layer):def init(self, state_dim, action_dim, max_action):super(Actor, self).
__init__
()self.l1 = nn.Linear(state_dim, 400)self.l2 = nn.Linear(400, 300)self.l3 = nn.Linear(300, action_dim)self.max_action = max_action
def forward(self, state):a = F.relu(self.l1(state))  # 第一層線性變換，使用ReLU激活函數(shù)a = F.relu(self.l2(a))  # 第二層線性變換，使用ReLU激活函數(shù)a = self.max_action * F.tanh(self.l3(a))  # 輸出層使用Tanh激活函數(shù)，將輸出動(dòng)作歸一化至[-1, 1]之間a = (a + 1.) / 2.  # 將輸出映射至[0, 1]區(qū)間，符合股票交易場(chǎng)景return a

• 作用：Actor網(wǎng)絡(luò)負(fù)責(zé)根據(jù)輸入的狀態(tài)生成交易策略（即買入、賣出或觀望的動(dòng)作）。

• 解釋：

  • 通過(guò)兩層全連接網(wǎng)絡(luò)，將狀態(tài)特征轉(zhuǎn)換為隱藏層。
  • 最后一層使用Tanh函數(shù)對(duì)輸出進(jìn)行壓縮，再將值歸一化至[0,1]范圍，用于表示交易比例。

2. Critic網(wǎng)絡(luò)（值函數(shù)網(wǎng)絡(luò)）

class Critic(nn.Layer):def init(self, state_dim, action_dim):super(Critic, self).
__init__
()self.l1 = nn.Linear(state_dim + action_dim, 400)self.l2 = nn.Linear(400, 300)self.l3 = nn.Linear(300, 1)
def forward(self, state, action):q = F.relu(self.l1(paddle.concat([state, action], 1)))  # 將狀態(tài)和動(dòng)作拼接在一起后，輸入到Critic網(wǎng)絡(luò)q = F.relu(self.l2(q))  # 第二層線性變換，ReLU激活函數(shù)return self.l3(q)  # 輸出一個(gè)標(biāo)量值Q值，用于評(píng)估狀態(tài)-動(dòng)作對(duì)的價(jià)值

• 作用：Critic網(wǎng)絡(luò)用于評(píng)估Actor網(wǎng)絡(luò)生成的動(dòng)作的價(jià)值（即Q值），幫助Actor網(wǎng)絡(luò)優(yōu)化策略。

• 解釋：

  • 將狀態(tài)和動(dòng)作作為輸入，評(píng)估當(dāng)前動(dòng)作的價(jià)值，輸出單一的Q值。

3. DDPG模型的訓(xùn)練與評(píng)估

def train(self, replay_buffer, batch_size=100):state, action, next_state, reward, done = replay_buffer.sample(batch_size)
# Critic網(wǎng)絡(luò)優(yōu)化target_Q = self.critic_target(next_state, self.actor_target(next_state))target_Q = reward + (1 - done) * self.gamma * target_Qcurrent_Q = self.critic(state, action)critic_loss = F.mse_loss(current_Q, target_Q)self.critic_optimizer.clear_grad()critic_loss.backward()  # 反向傳播計(jì)算梯度self.critic_optimizer.step()  # 更新Critic網(wǎng)絡(luò)參數(shù)# Actor網(wǎng)絡(luò)優(yōu)化actor_loss = -self.critic(state, self.actor(state)).mean()  # 策略梯度反向優(yōu)化self.actor_optimizer.clear_grad()actor_loss.backward()  # 反向傳播更新Actor網(wǎng)絡(luò)self.actor_optimizer.step()
# 軟更新目標(biāo)網(wǎng)絡(luò)參數(shù)for param, target_param in zip(self.critic.parameters(), self.critic_target.parameters()):target_param.set_value(target_param * (1.0 - self.tau) + param * self.tau)for param, target_param in zip(self.actor.parameters(), self.actor_target.parameters()):target_param.set_value(target_param * (1.0 - self.tau) + param * self.tau)

• 作用：

  • 訓(xùn)練流程分為兩個(gè)部分：更新Critic網(wǎng)絡(luò)和更新Actor網(wǎng)絡(luò)。
  • Critic網(wǎng)絡(luò)：通過(guò)最小化當(dāng)前Q值和目標(biāo)Q值之間的均方誤差，更新評(píng)估網(wǎng)絡(luò)參數(shù)。
  • Actor網(wǎng)絡(luò)：通過(guò)反向傳播Actor損失，優(yōu)化策略網(wǎng)絡(luò)，使得生成的動(dòng)作能夠最大化未來(lái)獎(jiǎng)勵(lì)。

• 軟更新：使用參數(shù)tau對(duì)Actor和Critic的目標(biāo)網(wǎng)絡(luò)進(jìn)行軟更新，逐步靠近主網(wǎng)絡(luò)，從而提高訓(xùn)練的穩(wěn)定性。

4. 經(jīng)驗(yàn)回放機(jī)制

class SimpleReplayBuffer(object):def init(self, state_dim, action_dim, max_size=int(1e5)):self.max_size = max_sizeself.cur = 0self.size = 0self.states = np.zeros((max_size, state_dim))self.actions = np.zeros((max_size, action_dim))self.next_states = np.zeros((max_size, state_dim))self.rewards = np.zeros((max_size, 1))self.dones = np.zeros((max_size, 1))
def add(self, state, action, next_state, reward, done):self.states[self.cur] = stateself.actions[self.cur] = actionself.next_states[self.cur] = next_stateself.rewards[self.cur] = rewardself.dones[self.cur] = doneself.cur = (self.cur + 1) % self.max_sizeself.size = min(self.size + 1, self.max_size)
def sample(self, batch):ids = np.random.randint(0, self.size, size=batch)return (paddle.to_tensor(self.states[ids], dtype='float32'),paddle.to_tensor(self.actions[ids], dtype='float32'),paddle.to_tensor(self.next_states[ids], dtype='float32'),paddle.to_tensor(self.rewards[ids], dtype='float32'),paddle.to_tensor(self.dones[ids], dtype='float32'))

• 作用：經(jīng)驗(yàn)回放緩沖區(qū)用于存儲(chǔ)智能體與環(huán)境交互的經(jīng)驗(yàn)（狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)、下一狀態(tài)、是否結(jié)束）。

• 解釋：

  • 存儲(chǔ)經(jīng)驗(yàn)后，模型從緩沖區(qū)中隨機(jī)采樣一批數(shù)據(jù)，用于訓(xùn)練Critic和Actor網(wǎng)絡(luò)。這樣做可以打破時(shí)間相關(guān)性，提高模型泛化能力。

6. 模型優(yōu)缺點(diǎn)評(píng)價(jià)

模型優(yōu)點(diǎn)：

1. 適應(yīng)連續(xù)動(dòng)作空間：DDPG算法結(jié)合了策略梯度和Q學(xué)習(xí)，能夠有效處理股票交易中的連續(xù)動(dòng)作決策問(wèn)題，如不同買入賣出的比例。
2. Actor-Critic架構(gòu)：該架構(gòu)通過(guò)分離策略生成（Actor）和策略評(píng)估（Critic），提高了模型的穩(wěn)定性和效率，特別適用于動(dòng)態(tài)和復(fù)雜的金融環(huán)境。
3. 經(jīng)驗(yàn)回放機(jī)制：通過(guò)經(jīng)驗(yàn)回放緩沖區(qū)存儲(chǔ)和隨機(jī)采樣，打破了樣本間的時(shí)間相關(guān)性，提升了訓(xùn)練的效率和泛化能力。
4. 軟更新機(jī)制：目標(biāo)網(wǎng)絡(luò)的軟更新避免了策略的劇烈變化，增強(qiáng)了訓(xùn)練過(guò)程的穩(wěn)定性，減少了由于網(wǎng)絡(luò)參數(shù)變化導(dǎo)致的振蕩問(wèn)題。

模型缺點(diǎn)：

1. 探索性不足：DDPG使用確定性策略，容易陷入局部最優(yōu)，導(dǎo)致在復(fù)雜的市場(chǎng)環(huán)境中策略的探索能力不足。缺乏足夠的隨機(jī)性來(lái)探索更多潛在的交易策略。
2. 數(shù)據(jù)依賴強(qiáng)：模型對(duì)于數(shù)據(jù)的依賴較強(qiáng)，歷史數(shù)據(jù)中的非平穩(wěn)性和噪聲會(huì)對(duì)模型性能產(chǎn)生較大影響，特別是數(shù)據(jù)分布與實(shí)際市場(chǎng)存在差異時(shí)，模型表現(xiàn)可能下降。
3. 超參數(shù)敏感：模型的性能對(duì)超參數(shù)（如學(xué)習(xí)率、探索噪聲等）較為敏感，參數(shù)選擇不當(dāng)可能導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定或者收斂速度較慢。

改進(jìn)方向：

1. 改進(jìn)探索機(jī)制：可以引入如熵正則化或隨機(jī)噪聲策略等方法，增加策略的隨機(jī)性，提升模型的探索能力，避免陷入局部最優(yōu)。
2. 超參數(shù)優(yōu)化：采用自動(dòng)化超參數(shù)調(diào)優(yōu)方法，如網(wǎng)格搜索、貝葉斯優(yōu)化，來(lái)找到更合適的超參數(shù)組合，提高模型的訓(xùn)練效率和穩(wěn)定性。
3. 數(shù)據(jù)增強(qiáng)：通過(guò)對(duì)歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，如隨機(jī)時(shí)間擾動(dòng)、模擬不同市場(chǎng)條件等，提升模型的泛化能力，使其能夠更好地應(yīng)對(duì)實(shí)際市場(chǎng)波動(dòng)。

👍感謝小伙伴們點(diǎn)贊、關(guān)注！ 如有其他項(xiàng)目需求的，可以在評(píng)論區(qū)留言，抽空制作更新！
?粉絲福利：點(diǎn)擊下方名片↓↓↓ 回復(fù)暗號(hào)：13，免費(fèi)獲取600多個(gè)深度學(xué)習(xí)項(xiàng)目資料，快來(lái)加入社群一起學(xué)習(xí)吧。