---

前言

請各大網(wǎng)友尊重本人原創(chuàng)知識分享，謹(jǐn)記本人博客：南國以南i、

---

提示：以下是本篇文章正文內(nèi)容，下面案例可供參考

需求

當(dāng)我們需要求兩個或兩個以上的字符串相似度百分比時，可以使用HanLP漢語言處理包來幫助我們，求兩個文本的相似度百分比、海明距離、

簡介

HanLP（Han Language Processing） 在漢語義處理方面具備強(qiáng)大的功能，由中國科學(xué)院計(jì)算技術(shù)研究所自然語言處理與社會人文計(jì)算研究中心開發(fā)。它提供了包括分詞、詞性標(biāo)注、命名實(shí)體識別、依存句法分析、情感分析、文本分類等多種自然語言處理任務(wù)的功能。

主要功能：

• 分詞： HanLP提供了多種分詞模型，包括基于規(guī)則的模型、基于神經(jīng)網(wǎng)絡(luò)的模型等，能夠準(zhǔn)確地進(jìn)行中文分詞。
• 詞性標(biāo)注： 在分詞的基礎(chǔ)上，HanLP還能對詞語進(jìn)行詞性標(biāo)注，幫助理解詞語在句子中的作用。
• 命名實(shí)體識別： HanLP能夠識別文本中的命名實(shí)體，如人名、地名、組織機(jī)構(gòu)名等，這對于信息抽取等任務(wù)非常重要。
• 依存句法分析： 通過對句子中各個詞語之間的依存關(guān)系建模，HanLP能夠分析句子結(jié)構(gòu)，提取句子的語義信息。
• 情感分析： HanLP支持對文本進(jìn)行情感分析，判斷文本所表達(dá)的情感傾向，如正面、負(fù)面或中性。
• 文本分類： HanLP還提供了文本分類的功能，可以將文本按照預(yù)設(shè)的分類體系進(jìn)行分類。

友情鏈接：HanLP項(xiàng)目主頁 、HanLP下載地址、詳細(xì)介紹

實(shí)操開始

注意： 本文以Java開發(fā)語言為案例

1. 添加pom.xml依賴

	    <!--junit依賴--><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>3.8.1</version><scope>test</scope></dependency><!--hanlp語言處理依賴--><dependency><groupId>com.hankcs</groupId><artifactId>hanlp</artifactId><version>portable-1.7.6</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 --><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.4</version></dependency><!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.3</version></dependency>

2. 文本相似度工具類

import com.hankcs.hanlp.seg.common.Term;
import com.hankcs.hanlp.tokenizer.StandardTokenizer;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Jsoup;
import org.jsoup.safety.Whitelist;import java.math.BigInteger;
import java.util.*;public class MySimHash {private String tokens; //字符串private BigInteger strSimHash;//字符產(chǎn)的hash值private int hashbits = 64; // 分詞后的hash數(shù);public MySimHash(String tokens) {this.tokens = tokens;this.strSimHash = this.simHash();}private MySimHash(String tokens, int hashbits) {this.tokens = tokens;this.hashbits = hashbits;this.strSimHash = this.simHash();}/*** 清除html標(biāo)簽** @param content* @return*/private String cleanResume(String content) {// 若輸入為HTML,下面會過濾掉所有的HTML的tagcontent = Jsoup.clean(content, Whitelist.none());content = StringUtils.lowerCase(content);String[] strings = {" ", "\n", "\r", "\t", "\\r", "\\n", "\\t", "&nbsp;"};for (String s : strings) {content = content.replaceAll(s, "");}return content;}/*** 這個是對整個字符串進(jìn)行hash計(jì)算** @return*/private BigInteger simHash() {tokens = cleanResume(tokens); // cleanResume 刪除一些特殊字符int[] v = new int[this.hashbits];List<Term> termList = StandardTokenizer.segment(this.tokens); // 對字符串進(jìn)行分詞//對分詞的一些特殊處理 : 比如: 根據(jù)詞性添加權(quán)重 , 過濾掉標(biāo)點(diǎn)符號 , 過濾超頻詞匯等;Map<String, Integer> weightOfNature = new HashMap<String, Integer>(); // 詞性的權(quán)重weightOfNature.put("n", 2); //給名詞的權(quán)重是2;Map<String, String> stopNatures = new HashMap<String, String>();//停用的詞性 如一些標(biāo)點(diǎn)符號之類的;stopNatures.put("w", ""); //int overCount = 5; //設(shè)定超頻詞匯的界限 ;Map<String, Integer> wordCount = new HashMap<String, Integer>();for (Term term : termList) {String word = term.word; //分詞字符串String nature = term.nature.toString(); // 分詞屬性;//  過濾超頻詞if (wordCount.containsKey(word)) {int count = wordCount.get(word);if (count > overCount) {continue;}wordCount.put(word, count + 1);} else {wordCount.put(word, 1);}// 過濾停用詞性if (stopNatures.containsKey(nature)) {continue;}// 2、將每一個分詞hash為一組固定長度的數(shù)列.比如 64bit 的一個整數(shù).BigInteger t = this.hash(word);for (int i = 0; i < this.hashbits; i++) {BigInteger bitmask = new BigInteger("1").shiftLeft(i);// 3、建立一個長度為64的整數(shù)數(shù)組(假設(shè)要生成64位的數(shù)字指紋,也可以是其它數(shù)字),// 對每一個分詞hash后的數(shù)列進(jìn)行判斷,如果是1000...1,那么數(shù)組的第一位和末尾一位加1,// 中間的62位減一,也就是說,逢1加1,逢0減1.一直到把所有的分詞hash數(shù)列全部判斷完畢.int weight = 1;  //添加權(quán)重if (weightOfNature.containsKey(nature)) {weight = weightOfNature.get(nature);}if (t.and(bitmask).signum() != 0) {// 這里是計(jì)算整個文檔的所有特征的向量和v[i] += weight;} else {v[i] -= weight;}}}BigInteger fingerprint = new BigInteger("0");for (int i = 0; i < this.hashbits; i++) {if (v[i] >= 0) {fingerprint = fingerprint.add(new BigInteger("1").shiftLeft(i));}}return fingerprint;}/*** 對單個的分詞進(jìn)行hash計(jì)算;** @param source* @return*/private BigInteger hash(String source) {if (source == null || source.length() == 0) {return new BigInteger("0");} else {/*** 當(dāng)sourece 的長度過短，會導(dǎo)致hash算法失效，因此需要對過短的詞補(bǔ)償*/while (source.length() < 3) {source = source + source.charAt(0);}char[] sourceArray = source.toCharArray();BigInteger x = BigInteger.valueOf(((long) sourceArray[0]) << 7);BigInteger m = new BigInteger("1000003");BigInteger mask = new BigInteger("2").pow(this.hashbits).subtract(new BigInteger("1"));for (char item : sourceArray) {BigInteger temp = BigInteger.valueOf((long) item);x = x.multiply(m).xor(temp).and(mask);}x = x.xor(new BigInteger(String.valueOf(source.length())));if (x.equals(new BigInteger("-1"))) {x = new BigInteger("-2");}return x;}}/*** 計(jì)算海明距離,海明距離越小說明越相似;** @param other* @return*/private int hammingDistance(MySimHash other) {BigInteger m = new BigInteger("1").shiftLeft(this.hashbits).subtract(new BigInteger("1"));BigInteger x = this.strSimHash.xor(other.strSimHash).and(m);int tot = 0;while (x.signum() != 0) {tot += 1;x = x.and(x.subtract(new BigInteger("1")));}return tot;}/*** .* 求百分比** @param s2* @return*/public double getSemblance(MySimHash s2) {double i = (double) this.hammingDistance(s2);return 1 - i / this.hashbits;}}

詳細(xì)說明：

/*--------------------------------------相似度算法說明--------------------------------------借鑒hashmap算法找出可以hash的key值，因?yàn)槲覀兪褂玫膕imhash是局部敏感哈希，這個算法的特點(diǎn)是只要相似的字符串只有個別的位數(shù)是有差別變化。那這樣我們可以推斷兩個相似的文本，至少有16位的simhash是一樣的。具體選擇16位、8位、4位，大家根據(jù)自己的數(shù)據(jù)測試選擇，雖然比較的位數(shù)越小越精準(zhǔn)，但是空間會變大。分為4個16位段的存儲空間是單獨(dú)simhash存儲空間的4倍。之前算出5000w數(shù)據(jù)是 382 Mb，擴(kuò)大4倍1.5G左右，還可以接受：）  通過這樣計(jì)算，我們的simhash查找過程全部降到了1毫秒以下。就加了一個hash效果這么厲害？我們可以算一下，原來是5000w次順序比較，現(xiàn)在是少了2的16次方比較，前面16位變成了hash查找。后面的順序比較的個數(shù)是多少？2^16 = 65536， 5000w/65536 = 763 次。。。。實(shí)際最后鏈表比較的數(shù)據(jù)也才 763次！所以效率大大提高！  到目前第一點(diǎn)降到3.6毫秒、支持5000w數(shù)據(jù)相似度比較做完了。還有第二點(diǎn)同一時刻發(fā)出的文本如果重復(fù)也只能保留一條和短文本相識度比較怎么解決。其實(shí)上面的問題解決了，這兩個就不是什么問題了。  之前的評估一直都是按照線性計(jì)算來估計(jì)的，就算有多線程提交相似度計(jì)算比較，我們提供相似度計(jì)算服務(wù)器也需要線性計(jì)算。比如同時客戶端發(fā)送過來兩條需要比較相似度的請求，在服務(wù)器這邊都進(jìn)行了一個排隊(duì)處理，一個接著一個，第一個處理完了在處理第二個，等到第一個處理完了也就加入了simhash庫。所以只要服務(wù)端加了隊(duì)列，就不存在同時請求不能判斷的情況。 simhash如何處理短文本？換一種思路，simhash可以作為局部敏感哈希第一次計(jì)算縮小整個比較的范圍，等到我們只有比較700多次比較時，就算使用我們之前精準(zhǔn)度高計(jì)算很慢的編輯距離也可以搞定。當(dāng)然如果覺得慢了，也可以使用余弦夾角等效率稍微高點(diǎn)的相似度算法";*//*--------------------------------------分詞說明--------------------------------------分詞，把需要判斷文本分詞形成這個文章的特征單詞。 最后形成去掉噪音詞的單詞序列并為每個詞加上權(quán)重，我們假設(shè)權(quán)重分為5個級別（1~5）。只要相似的字符串只有個別的位數(shù)是有差別變化。那這樣我們可以推斷兩個相似的文本， 比如：“ 美國“51區(qū)”雇員稱內(nèi)部有9架飛碟，曾看見灰色外星人 ” ==>分詞后為 “ 美國（4） 51區(qū)（5） 雇員（3） 稱（1） 內(nèi)部（2） 有（1） 9架（3） 飛碟（5） 曾（1） 看見（3） 灰色（4） 外星人（5）”， 括號里是代表單詞在整個句子里重要程度，數(shù)字越大越重要。 2、hash，通過hash算法把每個詞變成hash值， 比如“美國”通過hash算法計(jì)算為 100101, “51區(qū)”通過hash算法計(jì)算為 101011。這樣我們的字符串就變成了一串串?dāng)?shù)字，還記得文章開頭說過的嗎，要把文章變?yōu)閿?shù)字計(jì)算才能提高相似度計(jì)算性能，現(xiàn)在是降維過程進(jìn)行時。 3、加權(quán)，通過 2步驟的hash生成結(jié)果，需要按照單詞的權(quán)重形成加權(quán)數(shù)字串， 比如“美國”的hash值為“100101”，通過加權(quán)計(jì)算為“4 -4 -4 4 -4 4”；“51區(qū)”的hash值為“101011”，通過加權(quán)計(jì)算為 “ 5 -5 5 -5 5 5”。 4、合并，把上面各個單詞算出來的序列值累加，變成只有一個序列串。 比如 “美國”的 “4 -4 -4 4 -4 4”，“51區(qū)”的 “ 5 -5 5 -5 5 5”， 把每一位進(jìn)行累加， “4+5 -4+-5 -4+5 4+-5 -4+5 4+5” ==》 “9 -9 1 -1 1 9”。這里作為示例只算了兩個單詞的，真實(shí)計(jì)算需要把所有單詞的序列串累加。 5、降維，把4步算出來的 “9 -9 1 -1 1 9” 變成 0 1 串，形成我們最終的simhash簽名。 如果每一位大于0 記為 1，小于0 是統(tǒng)優(yōu)先公司";/*--------------------------------------敏感哈希說明--------------------------------------算法找出可以hash的key值，因?yàn)槲覀兪褂玫膕imhash是局部敏感哈希，這個算法的特點(diǎn)是只要相似的字 把需要判斷文本分詞形成這個文章的特征單詞。最后形成去掉噪音詞的只要相似的字符串只有個別的位數(shù)是有差別變化。那這樣我們可以推斷兩個相似的文本，單詞序分詞是代表單詞在整個句子里重要程度，數(shù)字越大越重要。2、hash，通過hash算法把每個詞變成hash值， 比如“美國”通過hash算法計(jì)算為 100101, “51區(qū)”通過hash算法計(jì)算為 101011。 這樣我們的字符串就變成了一串串?dāng)?shù)字，還記得文章開頭說過的嗎，要把文章變?yōu)閿?shù)字加權(quán)，通過 家可能會有疑問，經(jīng)過這么多步驟搞這么麻煩，不就是為了得到個 0 1 字符串嗎？我直接把這個文本作為字符串輸入v較，前面16位變成了hash查找。后面的順序比較的個數(shù)是多，用hd5是用于生成唯一簽來相差甚遠(yuǎn)；hashmap也是用于鍵值對查找，便于快速插入和查找的數(shù)據(jù)結(jié)構(gòu)。不過我們主要解決的是文本相似度計(jì)算，要比較的是兩個文章是否相識，當(dāng)然我們降維生成了hashcode也是用于這個目的?？吹竭@里估計(jì)大家就明白了，我們使用的sim是這樣的，傳統(tǒng)hash函數(shù)解決的是生成唯一值，比如 md5、hashmap等。md5是用于生成唯一簽名串，只要稍微多加一個字符md5的兩個數(shù)字看起來相差甚遠(yuǎn)；hashmap也是用于鍵值對查找，便于快速插入和查找的數(shù)據(jù)結(jié)構(gòu)。不過我們主要解決的是文本相似度計(jì)算，要比較的是兩個文章是否相識，當(dāng)然我們降維生成了hashcode也是用于這個目的?？吹竭@里估計(jì)大家就明白了，我們使用的simhash就算把文章中的字符串變成 01 串也還是可以用于計(jì)算相似度的，而傳統(tǒng)的hashcode卻不行。我們可以來做個測試，兩個相差只有一個字符的文本串，“你媽媽喊你回家吃飯哦，回家羅回家羅” 和 “你媽媽叫你回家吃飯啦，回家羅回家羅”。短文本大量重復(fù)信息不會被過濾，是不是";*//*--------------------------------------過濾說明--------------------------------------最后形成去掉噪音詞的單詞序分詞是代表單詞在整個句子里重要程度，數(shù)字越大越重要。 最后形成去掉噪音詞的單詞序列并為每個詞加上權(quán)重 2、hash，通過hash算法把每個詞變成hash值，比如“美國”通過hash算法計(jì)算為 100101, “51區(qū)”通過hash算法計(jì)算為 101011。 這樣我們的字符串就變成了一串串?dāng)?shù)字，還記得文章開頭說過的嗎，分為4個16位段的存儲空間是單獨(dú)simhash存儲空間的4倍。之前算出5000w數(shù)據(jù)是 382 Mb，擴(kuò)大4倍1.5G左右，還可以接受：） 要把文章變?yōu)閿?shù)字加權(quán)，通過 家可能會有疑問，經(jīng)過這么多步驟搞這么麻煩，不就是為了得到個 0 1 字符串嗎？我直接把這個文本作為字符串輸入，用hd5是用于生成唯一簽來相差甚遠(yuǎn)；hashmap也是用于鍵值對查找，便于快速插入和查找的數(shù)據(jù)結(jié)構(gòu)。不過我們主要解決的是文本相似度計(jì)算，要比較的是兩個文章是否相識，當(dāng)然我們降維生成了hashcode也是用于這個目的?？吹竭@里估計(jì)大家就明白了，我們使用的sim是這樣的，傳統(tǒng)hash函數(shù)解決的是生成唯一值，比如 md5、hashmap等。md5是用于生成唯一簽名串，只要稍微多加一個字符md5的兩個數(shù)字看起來相差甚遠(yuǎn)；hashmap也是用于鍵值對查找，便于快速插入和查找的數(shù)據(jù)結(jié)構(gòu)。不過我們主要解決的是文本相似度計(jì)算，要比較的是兩個文章是否相識，當(dāng)然我們降維生成了hashcode也是用于這個目的?？吹竭@里估計(jì)大家就明白了，我們使用的simhash就算把文章中的字符串變成 01 串也還是可以用于計(jì)算相似度的，而傳統(tǒng)的hashcode卻不行。我們可以來做個測試，兩個相差只有一個字符的文本串，“你媽媽喊你回家吃飯哦，回家羅回家羅” 和 “你媽媽叫你回家吃飯啦，回家羅回家羅”。短文本大量重復(fù)信息不會被過濾，";*/

3. 案例驗(yàn)證

    public static void main(String[] args) {String text = "杏南一區(qū)";List<String> itemList = new LinkedList<String>();itemList.add("杏南一區(qū)");itemList.add("杏南二區(qū)");itemList.add("杏南三區(qū)");itemList.add("杏南四區(qū)");itemList.add("杏南五區(qū)");itemList.add("杏南六區(qū)");itemList.add("杏南七區(qū)");itemList.add("杏南八區(qū)");itemList.add("杏南九區(qū)");itemList.add("杏南十區(qū)");System.out.println("======================================");long startTime = System.currentTimeMillis();MySimHash hash1 = new MySimHash(text, 64);List<Double> list = new LinkedList<Double>();for (String str : itemList) {MySimHash hash2 = new MySimHash(str, 64);//海明距離越小說明越相似System.out.println("海明距離:" + hash1.hammingDistance(hash2) + "###" + "文本相似度:" + hash2.getSemblance(hash1));list.add(hash2.getSemblance(hash1));}long endTime = System.currentTimeMillis();Double max = Collections.max(list);int index = list.indexOf(max);//獲取集合下標(biāo)System.out.println("======================================");System.out.println("耗時:" + (endTime - startTime));System.out.println("相似度集合內(nèi)容:" + list.toString());System.out.println("集合中最大值:" + max + "###" + "集合下標(biāo):" + index);System.out.println("對比內(nèi)容:" + text + "###" + "相似度最高:" + itemList.get(index));}

4. 驗(yàn)證結(jié)果

總結(jié)

我是南國以南i記錄點(diǎn)滴每天成長一點(diǎn)點(diǎn)，學(xué)習(xí)是永無止境的！轉(zhuǎn)載請附原文鏈接！！！

參考鏈接、