當前位置：首頁 > news >正文

煙臺高新區(qū)建設局網(wǎng)站網(wǎng)絡廣告策劃

news 2025/7/4 20:25:36

煙臺高新區(qū)建設局網(wǎng)站,網(wǎng)絡廣告策劃,南寧推廣軟件,廈門模板建站哪家好1. Motivation 針對機器學習中的出現(xiàn)的數(shù)據(jù)隱私泄露的風險，提出了線性回歸、邏輯回歸以及簡單神經(jīng)網(wǎng)絡的隱私保護模型。 2. Contributions 2.1 為線性回歸、邏輯回歸以及神經(jīng)網(wǎng)絡設計安全計算協(xié)議 2.1.1.1 線性回歸線性回歸損失函數(shù)為： , 采用SG…

1. Motivation?

針對機器學習中的出現(xiàn)的數(shù)據(jù)隱私泄露的風險，提出了線性回歸、邏輯回歸以及簡單神經(jīng)網(wǎng)絡的隱私保護模型。

2. Contributions

2.1 為線性回歸、邏輯回歸以及神經(jīng)網(wǎng)絡設計安全計算協(xié)議

2.1.1.1 線性回歸

線性回歸損失函數(shù)為：

?? $\small C(w)=\frac{1}{n}\sum C_i(w)$ , $\small C_i(\mathbf{w})=\frac{1}{2}(\mathbf{x_i}\cdot \mathbf{w}-y_i)^2$

采用SGD算法處理損失函數(shù)，權(quán)重w的更新公式為：

$\small w_{j}:=w_{j}-\alpha \frac{\partial C_{i}(\mathbf{w})}{\partial w_{j}}$

式子只有加法、乘法運算，秘密分享的形式為：

$\small \langle w_j\rangle:=\left\langle w_{j}\right\rangle-\alpha \operatorname{Mul}^{A}\left(\sum_{k=1}^vxwlu0yf4 \operatorname{Mul}^{A}\left(\left\langle x_{i k}\right\rangle,\left\langle w_{k}\right\rangle\right)-\left\langle y_{i}\right\rangle,\left\langle x_{i j}\right\rangle\right)$

寫成向量的形式為：

$\small \langle \mathbf{w}\rangle:=\langle \mathbf{w}\rangle-\frac{1}{|B|} \alpha \operatorname{Mul}^{A}\left(\left\langle\mathbf{X}_{B}^{T}\right\rangle, \operatorname{Mul}^{A}\left(\left\langle\mathbf{X}_{B}\right\rangle,\langle\mathbf{w}\rangle\right)-\left\langle\mathbf{Y}_{B}\right\rangle\right)$

根據(jù)Beaver's triple 計算矩陣乘法：

這里需要注意的是文章中說明的是兩個服務器 $\small S_0,S_1$ ,都以獲得數(shù)據(jù)的一個份額，并不是各方持有一份完整的數(shù)據(jù)。

可得： $\small \langle\mathbf{C}\rangle_{i}=-i \cdot \mathbf{E} \times \mathbf{F}+\langle\mathbf{A}\rangle_{i} \times \mathbf{F}+\mathbf{E} \times\langle\mathbf{B}\rangle_{i}+\langle\mathbf{Z}\rangle_{i}$ ，之后的乘法運算都依據(jù)這個式子。

完整過程如下：

2.2 運算中小數(shù)的處理

計算小數(shù)乘法，x*y,假設x和y都最多有D為小數(shù)。

（1）將x和y進行擴大

$x^{'}=2^{l_D}x$ , $y^{'}=2^{l_D}y$

（2）截斷小數(shù)

????????擴大后結(jié)果為 $z=x^{'}y^{'}$ ,小數(shù)位數(shù)最多D為，所以將最后D位截取，截斷后的結(jié)果可寫為 $z=z_1\cdot2^{l_D}+z_2$ ，用 $[z]$ 表示截斷操作則最的相乘結(jié)果為 $z_1$ 。

2.3 優(yōu)化激活函數(shù)

????????在邏輯回歸算法中，有函數(shù) $f()=\frac{1}{1+e^{-x}}$ ,其中在實數(shù)域中，該函數(shù)包含的除法和求冪運算很難支持2PC和布爾運算，比之前工作用多項式去逼近函數(shù)不同的是，作者提出一個Friendly activation function，函數(shù)為f(u),f(u)圖像如下圖所示。

$f(u)=\left\{\begin{array}{ll} 0, & \text { if } u<-\frac{1}{2} \\ u+\frac{1}{2}, & \text { if }-\frac{1}{2} \leq u \leq \frac{1}{2} \\ 1, & \text { if } u>\frac{1}{2} \end{array}\right.\textup{}$ ? ? ? ? ? ? ??

?構(gòu)造的靈感來源于：

（1）函數(shù)值應該收斂在0和1之間；（2）RELU函數(shù)

2.4?引入了面向秘密共享的向量化計算

線性回歸下模型權(quán)重更新公式為 $\small w_{j}:=w_{j}-\alpha \frac{\partial C_{i}(\mathbf{w})}{\partial w_{j}}$ ，僅涉及加法和乘法。秘密分享形式下的加法在本地即可計算，而乘法需要借助Beavers Triple。但是元素級別的運算效率太低，這里優(yōu)化為矩陣乘法 $C=A\cdot B$ ，由2.1節(jié)可知C的Share為： $\small \langle\mathbf{C}\rangle_{i}=-i \cdot \mathbf{E} \times \mathbf{F}+\langle\mathbf{A}\rangle_{i} \times \mathbf{F}+\mathbf{E} \times\langle\mathbf{B}\rangle_{i}+\langle\mathbf{Z}\rangle_{i}$ ，這樣可以大大加快計算效率。

3. Q&R

3.1?為什么加法秘密共享是環(huán)上，shamir是在域上?

答：加法秘密分享只需要加減法就可以定義分享和恢復算法；shamir的恢復算法需要計算離散空間的除法，環(huán)中因為有些元素沒有逆元，所以沒法保證恢復算法能成功。域中元素都有逆元，可以計算除法。

3.2?隱私計算往往要求在有限域上運算，實際問題怎么去應用？

答：需要轉(zhuǎn)化為將實際的運算轉(zhuǎn)化到有限域的代數(shù)系統(tǒng)中。

4. Summary

????????優(yōu)化一個問題，可以從各個方面入手，有的對結(jié)果有直接影響，有的是間接影響；有的直接影響大，有的直接影響小。

Reference

1.論文閱讀筆記：SecureML: A System for Scalable Privacy-Preserving Machine Learning - 知乎

2.為什么不可以直接在實數(shù)上進行秘密分享？ - 知乎 (zhihu.com)

查看全文

http://www.risenshineclean.com/news/1861.html

中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网