河南省建設(shè)教育協(xié)會(huì)網(wǎng)站口碑營(yíng)銷(xiāo)的方法
什么是singleflight
singleflight
是一種并發(fā)編程設(shè)計(jì)模式,將同一時(shí)刻的多個(gè)并發(fā)請(qǐng)求合并成一個(gè)請(qǐng)求,以減少對(duì)下游服務(wù)的壓力
為什么叫singleflight
fly可以理解為請(qǐng)求數(shù),singleflight就是單個(gè)請(qǐng)求
使用場(chǎng)景
該模式主要用于防止緩存擊穿
例如當(dāng)本地緩存失效時(shí),為了防止大量請(qǐng)求都打到遠(yuǎn)程緩存redis,可以用singleflight保證該時(shí)刻只會(huì)有一個(gè)請(qǐng)求發(fā)到遠(yuǎn)程緩存:
或者當(dāng)遠(yuǎn)程緩存失效時(shí),為了防止大量請(qǐng)求都打到db,可以用singleflight保證該時(shí)刻只有一個(gè)請(qǐng)求發(fā)往db查詢數(shù)據(jù):
本文將比較go-zero和官方庫(kù)對(duì)singleflight的實(shí)現(xiàn)
Go-zero
代碼地址:https://github.com/zeromicro/go-zero/blob/master/core/syncx/singleflight.go
go-zero中對(duì)singleflight的定義如下:
type (SingleFlight interface {Do(key string, fn func() (any, error)) (any, error)DoEx(key string, fn func() (any, error)) (any, bool, error)}call struct {wg sync.WaitGroupval anyerr error}flightGroup struct {calls map[string]*calllock sync.Mutex}
)
-
SingleFlight:接口定義,調(diào)Do或DoEx用單并發(fā)的方式對(duì)資源發(fā)起請(qǐng)求
- 參數(shù)key:資源的標(biāo)識(shí)
- 參數(shù)fn:真正請(qǐng)求獲取資源的方法
- DoEx的第二個(gè)返回值bool: 表示從共享獲取的,還是發(fā)起真實(shí)請(qǐng)求獲取的
-
call:表示同一時(shí)刻對(duì)一個(gè)資源的一組請(qǐng)求
- wg:這一組的goroutine都阻塞在該wg上
- val,err:請(qǐng)求的返回值,err
-
flightGroup:總控結(jié)構(gòu)
- calls:維護(hù)了正在執(zhí)行中的call
我們看Do做了啥
func (g *flightGroup) Do(key string, fn func() (any, error)) (any, error) {c, done := g.createCall(key)if done {return c.val, c.err}g.makeCall(c, key, fn)return c.val, c.err
}
首先調(diào)g.createCall(key)
創(chuàng)建call
如果此時(shí)已經(jīng)有其他協(xié)程發(fā)起了對(duì)call的請(qǐng)求,當(dāng)前協(xié)程就阻塞住,等待拿到結(jié)果后直接返回
如果done為false,表示當(dāng)前協(xié)程是第一個(gè)發(fā)起 call 的協(xié)程,那執(zhí)行g.makeCall(c, key, fn)
發(fā)起真正的call請(qǐng)求
createCall
實(shí)現(xiàn)如下:
func (g *flightGroup) createCall(key string) (c *call, done bool) {g.lock.Lock()if c, ok := g.calls[key]; ok {g.lock.Unlock()c.wg.Wait()return c, true}c = new(call)c.wg.Add(1)g.calls[key] = cg.lock.Unlock()return c, false
}
- 其實(shí)就干了一件事:判斷是不是第一個(gè)對(duì)key的調(diào)用
-
- 不是:阻塞在c.wa上
- 是:創(chuàng)建call
接下來(lái)看makeCall
:
func (g *flightGroup) makeCall(c *call, key string, fn func() (any, error)) {defer func() {g.lock.Lock()delete(g.calls, key)g.lock.Unlock()c.wg.Done()}()c.val, c.err = fn()
}
真正執(zhí)行fn方法,執(zhí)行完畢后:
- 將key從calls中刪除,這樣下一組并發(fā)請(qǐng)求到來(lái)時(shí),會(huì)重新發(fā)起真正的請(qǐng)求,獲取新值
- 調(diào)用wg.done(),這樣之前阻塞在wg的協(xié)程都會(huì)獲得結(jié)果,并返回
官方庫(kù)
接下來(lái)看看go官方庫(kù)對(duì)singleflight的實(shí)現(xiàn)
代碼地址:https://cs.opensource.google/go/x/sync/+/036812b2:singleflight/singleflight.go
除了也實(shí)現(xiàn)了go-zero的Do方法外,官方庫(kù)另外提供了DoChan
的模式:
- 無(wú)論是第一個(gè)還是非第一個(gè)協(xié)程,都不阻塞在DoChan的調(diào)用中,而是返回一個(gè)channel,可以當(dāng)需要讀數(shù)據(jù)時(shí)才從channel中獲取
- 也就是說(shuō)將是否阻塞獲取調(diào)用結(jié)果的權(quán)力交給調(diào)用方
看看詳細(xì)過(guò)程:DoChan
func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result {ch := make(chan Result, 1)g.mu.Lock()if g.m == nil {g.m = make(map[string]*call)}if c, ok := g.m[key]; ok {c.dups++c.chans = append(c.chans, ch)g.mu.Unlock()// 返回channelreturn ch}c := &call{chans: []chan<- Result{ch}}c.wg.Add(1)g.m[key] = cg.mu.Unlock()// 異步發(fā)起調(diào)用go g.doCall(c, key, fn)// 非阻塞的返回channelreturn ch
}
那什么時(shí)候往channel塞數(shù)據(jù)呢?在doCall調(diào)用成功后,將返回值挨個(gè)發(fā)送到等待的channel中
for _, ch := range c.chans {ch <- Result{c.val, c.err, c.dups > 0}
}