1. 前言

我們有一個簡單的需求：

• 搜索欄展示當(dāng)前登陸的個人用戶的搜索歷史記錄，刪除個人歷史記錄。
• 用戶在搜索欄輸入某字符，則將該字符記錄下來 以zset格式存儲的redis中，記錄該字符被搜索的個數(shù)以及當(dāng)前的時間戳 （用了DFA算法）。
• 每當(dāng)用戶查詢了已在redis存在了的字符時，則直接累加個數(shù)， 用來獲取平臺上最熱查詢的十條數(shù)據(jù)。（可以自己寫接口或者直接在redis中添加一些預(yù)備好的關(guān)鍵詞）。
• 做不雅文字的過濾功能。

2. 實(shí)現(xiàn)

2.1 引入依賴

<dependencies>  <dependency>  <groupId>redis.clients</groupId>  <artifactId>jedis</artifactId>  <version>3.7.0</version> <!-- 使用你需要的版本 -->  </dependency>  
</dependencies>

2.2 實(shí)現(xiàn)代碼

import redis.clients.jedis.Jedis;
import redis.clients.jedis.Tuple;import java.util.Set;
import java.util.HashSet;
import java.util.List;
import java.util.ArrayList;
import java.util.stream.Collectors;
import java.util.stream.IntStream;public class HotSearch {private static final String REDIS_HOST = "localhost";private static final int REDIS_PORT = 6379;private static final String HISTORY_SET = "history";private static final String ZSET_PREFIX = "zset:";private static final int TOP_TEN = 10;private static final String BAD_WORDS = "bad"; // 替換為需要過濾的關(guān)鍵詞  private static final String FILTERED_WORD = "***"; // 替換為過濾后的關(guān)鍵詞  private static final int BAD_WORD_THRESHOLD = 100; // 替換為過濾的閾值，超過則認(rèn)為是不雅文字  private static final List<String> BAD_WORD_LIST = IntStream.range(0, BAD_WORDS.length()).mapToObj(i -> BAD_WORDS.substring(i, i + 1)).collect(Collectors.toList()); // 將BAD_WORDS轉(zhuǎn)為List，方便后續(xù)操作  public static void main(String[] args) {Jedis jedis = new Jedis(REDIS_HOST, REDIS_PORT);String userId = "user1"; // 當(dāng)前登陸的個人用戶ID，需要根據(jù)實(shí)際情況獲取  String searchWord = "test"; // 需要搜索的字符  hotSearch(jedis, userId, searchWord);}public static void hotSearch(Jedis jedis, String userId, String searchWord) {// 獲取當(dāng)前用戶的搜索歷史記錄  Set<String> history = jedis.smembers(HISTORY_SET + ":" + userId);if (history == null) history = new HashSet<>();history.add(searchWord); // 將新搜索詞加入歷史記錄  jedis.sadd(HISTORY_SET + ":" + userId, history); // 將歷史記錄存入redis中  history.remove(searchWord); // 去掉新搜索詞，只保留舊的歷史記錄  // 將搜索詞加入zset中，記錄該字符被搜索的個數(shù)以及當(dāng)前的時間戳   jedis.zadd(ZSET_PREFIX + userId, getScore(searchWord), searchWord);System.out.println("Added " + searchWord + " to hot search with score " + getScore(searchWord));// 過濾不雅文字，如果是不雅文字則替換為***，并累加不雅文字的搜索次數(shù)  if (BAD_WORD_LIST.contains(searchWord)) {if (jedis.zscore(ZSET_PREFIX + userId, FILTERED_WORD) == null) { // 如果該詞在zset中不存在，則加入并設(shè)置得分  jedis.zadd(ZSET_PREFIX + userId, BAD_WORD_THRESHOLD, FILTERED_WORD); // 設(shè)置得分為BAD_WORD_THRESHOLD，表示這是一個不雅文字  jedis.incrBy(HISTORY_SET + ":bad", 1); // 累加不雅文字的搜索次數(shù)，存儲在bad歷史的集合中，方便后續(xù)統(tǒng)計和過濾處理  } else { // 如果該詞在zset中已存在，則只累加搜索次數(shù)，并更新得分（得分+1）  jedis.zincrby(ZSET_PREFIX + userId, 1, FILTERED_WORD); // 得分為當(dāng)前得分+1，表示這是一個不雅文字的再次搜索  jedis.incrBy(HISTORY_SET + ":bad", 1); // 累加不雅文字的搜索次數(shù)，存儲在bad歷史的集合中，方便后續(xù)統(tǒng)計和過濾處理  }System.out.println("The word " + searchWord + " is filtered and replaced with " + FILTERED_WORD); // 輸出過濾后的結(jié)果  } else { // 如果不是不雅文字，則正常加入熱搜列表并設(shè)置得分  jedis.zadd(ZSET_PREFIX + userId, getScore(searchWord), searchWord); // 正常加入熱搜列表并設(shè)置得分  System.out.println("Added normal word " + searchWord + " to hot search with score " + getScore(searchWord)); // 輸出正常加入熱搜列表的結(jié)果}// 獲取平臺上最熱搜索的十條數(shù)據(jù)  Set<Tuple> hotData = jedis.zrevrangeWithScores(ZSET_PREFIX + userId, 0, TOP_TEN - 1);List<String> hotWords = hotData.stream().map(Tuple::getElement).collect(Collectors.toList());List<Integer> hotScores = hotData.stream().map(Tuple::getScore).collect(Collectors.toList());System.out.println("Top " + TOP_TEN + " hot searches are: " + hotWords + " with scores: " + hotScores);}// 用于計算得分的方法，這里采用了最簡單的得分方式，只考慮了搜索頻率和時間戳，實(shí)際情況可能需要更復(fù)雜的算法 private static int getScore(String word) {return 1;}
}

2.3 實(shí)現(xiàn)原理

1. 搜索歷史記錄：
   • 我們使用Redis的set數(shù)據(jù)結(jié)構(gòu)來存儲用戶的搜索歷史。每個用戶都有自己的歷史記錄集合，通過HISTORY_SET + ":" + userId來區(qū)分不同用戶的搜索歷史。
   • jedis.sadd方法用于添加新搜索詞到歷史記錄集合中。
   • 刪除操作沒有直接在代碼中體現(xiàn)，但可以通過jedis.srem方法從集合中移除某個元素來實(shí)現(xiàn)。
2. 更新熱搜列表：
   • 我們使用Redis的有序集合（zset）來存儲熱搜數(shù)據(jù)。每個用戶都有自己的有序集合，通過ZSET_PREFIX + userId來區(qū)分不同用戶的熱搜數(shù)據(jù)。
   • 每個搜索詞都與一個得分相關(guān)聯(lián)，該得分由函數(shù)getScore計算得出。新搜索詞得分為1，舊搜索詞得分為0。這個得分代表了搜索的頻率和時間戳。
   • jedis.zadd方法用于向有序集合中添加新元素，并設(shè)置其得分。
3. 獲取平臺上最熱查詢的十條數(shù)據(jù)：
   • 我們使用jedis.zrevrangeWithScores方法獲取有序集合中的前十個元素（得分最高的十個搜索詞）。
   • 返回的結(jié)果是一個包含元素和得分的集合，我們通過流處理將其轉(zhuǎn)換為列表。
4. 不雅文字過濾：
   • 這部分功能在代碼中有直接實(shí)現(xiàn)，其原理是當(dāng)用戶輸入搜索詞時，系統(tǒng)會檢查該詞是否在預(yù)定義的BAD_WORDS列表中。
   • 如果在列表中，并且該詞的搜索頻率超過BAD_WORD_THRESHOLD，則認(rèn)為這是一個不雅文字，將其替換為FILTERED_WORD。
   • 注意：在實(shí)際應(yīng)用中，可能需要更復(fù)雜的不雅文字過濾算法和策略，而不僅僅是基于頻率的檢查。

3. 注意事項(xiàng)

1. 安全性：
   • 確保Redis服務(wù)器的安全性。這包括使用強(qiáng)密碼、配置防火墻規(guī)則、使用SSL連接等。不要將敏感數(shù)據(jù)暴露給不必要的用戶或應(yīng)用程序。
   • 在存儲和傳輸用戶搜索數(shù)據(jù)時，考慮到數(shù)據(jù)的機(jī)密性和隱私保護(hù)。根據(jù)當(dāng)?shù)氐碾[私法律和政策，可能需要采取額外的措施來保護(hù)用戶數(shù)據(jù)。
2. 性能監(jiān)控和調(diào)優(yōu)：
   • 監(jiān)控Redis的性能指標(biāo)，如內(nèi)存使用情況、連接數(shù)、查詢速度等。根據(jù)實(shí)際負(fù)載情況，可能需要調(diào)整Redis的配置參數(shù)或增加硬件資源。
   • 定期檢查代碼的性能，確保在大量請求下能夠保持穩(wěn)定的性能。對于瓶頸部分，可能需要優(yōu)化算法或調(diào)整數(shù)據(jù)結(jié)構(gòu)。
3. 異常處理：
   • 添加適當(dāng)?shù)漠惓Ｌ幚磉壿?#xff0c;以處理Redis連接失敗、查詢錯誤等情況。確保應(yīng)用程序能夠優(yōu)雅地處理這些異常，并為用戶提供適當(dāng)?shù)腻e誤消息。
   • 對于可能出現(xiàn)的Redis故障或維護(hù)時段，考慮實(shí)現(xiàn)一種回退機(jī)制或通知系統(tǒng)，以便及時通知相關(guān)人員并采取措施。
4. 數(shù)據(jù)一致性和備份：
   • 確保Redis中的數(shù)據(jù)與應(yīng)用程序中的其他數(shù)據(jù)源保持一致。在寫入數(shù)據(jù)時，要確保冪等性以避免數(shù)據(jù)沖突。
   • 定期備份Redis中的數(shù)據(jù)，以防數(shù)據(jù)丟失。考慮使用快照或追加日志的方式來備份數(shù)據(jù)。
5. 擴(kuò)展性和高可用性：
   • 如果應(yīng)用程序需要處理大量的搜索請求，考慮使用Redis集群來分擔(dān)負(fù)載和提高可用性。確保集群配置正確，并能夠自動處理節(jié)點(diǎn)故障轉(zhuǎn)移。
   • 在設(shè)計系統(tǒng)時，考慮到未來的擴(kuò)展需求。使用可擴(kuò)展的數(shù)據(jù)結(jié)構(gòu)或算法，以便在需要時輕松地增加功能和優(yōu)化性能。
6. 日志和監(jiān)控：
   • 配置適當(dāng)?shù)娜罩居涗浵到y(tǒng)，記錄Redis的操作和關(guān)鍵事件。這有助于故障排查和性能分析。
   • 使用監(jiān)控工具來實(shí)時跟蹤Redis的性能指標(biāo)和應(yīng)用程序的健康狀況。這樣可以在問題發(fā)生時迅速采取行動。
7. 測試和驗(yàn)證：
   • 在將代碼部署到生產(chǎn)環(huán)境之前，進(jìn)行充分的測試和驗(yàn)證。確保代碼的功能正確、性能良好，并且沒有安全漏洞。
   • 考慮使用集成測試、單元測試和負(fù)載測試來評估代碼的健壯性和穩(wěn)定性。確保代碼能夠承受實(shí)際工作負(fù)載和各種邊界條件。
8. 代碼維護(hù)和文檔：
   • 為代碼添加適當(dāng)?shù)淖⑨尯臀臋n，以幫助其他開發(fā)人員理解其工作原理和維護(hù)方式。這也有助于未來的代碼審查和維護(hù)工作。
   • 保持代碼的清潔和可維護(hù)性，遵循最佳實(shí)踐和編碼規(guī)范。定期重構(gòu)代碼以消除冗余和提高可讀性。