什么是singleflight

singleflight是一種并發(fā)編程設(shè)計(jì)模式，將同一時(shí)刻的多個(gè)并發(fā)請(qǐng)求合并成一個(gè)請(qǐng)求，以減少對(duì)下游服務(wù)的壓力

為什么叫singleflight

fly可以理解為請(qǐng)求數(shù)，singleflight就是單個(gè)請(qǐng)求

使用場(chǎng)景

該模式主要用于防止緩存擊穿

例如當(dāng)本地緩存失效時(shí)，為了防止大量請(qǐng)求都打到遠(yuǎn)程緩存redis，可以用singleflight保證該時(shí)刻只會(huì)有一個(gè)請(qǐng)求發(fā)到遠(yuǎn)程緩存：

或者當(dāng)遠(yuǎn)程緩存失效時(shí)，為了防止大量請(qǐng)求都打到db，可以用singleflight保證該時(shí)刻只有一個(gè)請(qǐng)求發(fā)往db查詢數(shù)據(jù)：

本文將比較go-zero和官方庫(kù)對(duì)singleflight的實(shí)現(xiàn)

Go-zero

代碼地址：https://github.com/zeromicro/go-zero/blob/master/core/syncx/singleflight.go

go-zero中對(duì)singleflight的定義如下：

type (SingleFlight interface {Do(key string, fn func() (any, error)) (any, error)DoEx(key string, fn func() (any, error)) (any, bool, error)}call struct {wg  sync.WaitGroupval anyerr error}flightGroup struct {calls map[string]*calllock  sync.Mutex}
)

• SingleFlight：接口定義，調(diào)Do或DoEx用單并發(fā)的方式對(duì)資源發(fā)起請(qǐng)求

  • 參數(shù)key：資源的標(biāo)識(shí)
  • 參數(shù)fn：真正請(qǐng)求獲取資源的方法
  • DoEx的第二個(gè)返回值bool： 表示從共享獲取的，還是發(fā)起真實(shí)請(qǐng)求獲取的

• call：表示同一時(shí)刻對(duì)一個(gè)資源的一組請(qǐng)求

  • wg：這一組的goroutine都阻塞在該wg上
  • val，err：請(qǐng)求的返回值，err

• flightGroup：總控結(jié)構(gòu)

  • calls：維護(hù)了正在執(zhí)行中的call

我們看Do做了啥

func (g *flightGroup) Do(key string, fn func() (any, error)) (any, error) {c, done := g.createCall(key)if done {return c.val, c.err}g.makeCall(c, key, fn)return c.val, c.err
}

首先調(diào)g.createCall(key)創(chuàng)建call

如果此時(shí)已經(jīng)有其他協(xié)程發(fā)起了對(duì)call的請(qǐng)求，當(dāng)前協(xié)程就阻塞住，等待拿到結(jié)果后直接返回

如果done為false，表示當(dāng)前協(xié)程是第一個(gè)發(fā)起 call 的協(xié)程，那執(zhí)行g.makeCall(c, key, fn)發(fā)起真正的call請(qǐng)求

createCall實(shí)現(xiàn)如下：

func (g *flightGroup) createCall(key string) (c *call, done bool) {g.lock.Lock()if c, ok := g.calls[key]; ok {g.lock.Unlock()c.wg.Wait()return c, true}c = new(call)c.wg.Add(1)g.calls[key] = cg.lock.Unlock()return c, false
}

• 其實(shí)就干了一件事：判斷是不是第一個(gè)對(duì)key的調(diào)用
• 1. 不是：阻塞在c.wa上
  2. 是：創(chuàng)建call

接下來(lái)看makeCall：

func (g *flightGroup) makeCall(c *call, key string, fn func() (any, error)) {defer func() {g.lock.Lock()delete(g.calls, key)g.lock.Unlock()c.wg.Done()}()c.val, c.err = fn()
}

真正執(zhí)行fn方法，執(zhí)行完畢后：

• 將key從calls中刪除，這樣下一組并發(fā)請(qǐng)求到來(lái)時(shí)，會(huì)重新發(fā)起真正的請(qǐng)求，獲取新值
• 調(diào)用wg.done()，這樣之前阻塞在wg的協(xié)程都會(huì)獲得結(jié)果，并返回

官方庫(kù)

接下來(lái)看看go官方庫(kù)對(duì)singleflight的實(shí)現(xiàn)

代碼地址：https://cs.opensource.google/go/x/sync/+/036812b2:singleflight/singleflight.go

除了也實(shí)現(xiàn)了go-zero的Do方法外，官方庫(kù)另外提供了DoChan的模式：

• 無(wú)論是第一個(gè)還是非第一個(gè)協(xié)程，都不阻塞在DoChan的調(diào)用中，而是返回一個(gè)channel，可以當(dāng)需要讀數(shù)據(jù)時(shí)才從channel中獲取
• 也就是說(shuō)將是否阻塞獲取調(diào)用結(jié)果的權(quán)力交給調(diào)用方

看看詳細(xì)過(guò)程：DoChan

func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result {ch := make(chan Result, 1)g.mu.Lock()if g.m == nil {g.m = make(map[string]*call)}if c, ok := g.m[key]; ok {c.dups++c.chans = append(c.chans, ch)g.mu.Unlock()// 返回channelreturn ch}c := &call{chans: []chan<- Result{ch}}c.wg.Add(1)g.m[key] = cg.mu.Unlock()// 異步發(fā)起調(diào)用go g.doCall(c, key, fn)// 非阻塞的返回channelreturn ch
}

那什么時(shí)候往channel塞數(shù)據(jù)呢？在doCall調(diào)用成功后，將返回值挨個(gè)發(fā)送到等待的channel中

for _, ch := range c.chans {ch <- Result{c.val, c.err, c.dups > 0}
}