茶網(wǎng)站開發(fā)的意義目的建站之星官方網(wǎng)站
溫馨提示:文末有 CSDN 平臺官方提供的學(xué)長 QQ 名片 :)?
1. 項目簡介
????????本項目利用網(wǎng)絡(luò)爬蟲技術(shù)從XX點評APP采集北京市的餐飲商鋪數(shù)據(jù),利用數(shù)據(jù)挖掘技術(shù)對北京美食的分布、受歡迎程度、評價、評論、位置等情況進行了深入分析,方便了解城市美食店鋪的運營狀況、消費者需求、市場趨勢和競爭格局等。 本系統(tǒng)利用 Flask 搭建 web 后端分析服務(wù),利用 Bootstrap 和 Echarts 等搭建交互式可視化分析系統(tǒng)。
2. 城市熱門餐飲美食數(shù)據(jù)采集
? ? ? ? 利用Python網(wǎng)絡(luò)爬蟲技術(shù),采集某點評網(wǎng)站的北京市各地區(qū)餐飲美食店鋪數(shù)據(jù):
# 。。。。。
# 省略其他代碼# 采集的商鋪數(shù)量
total_shop_count = 0
# 批量插入數(shù)據(jù)的數(shù)組
batch_insert_datas = []
for a_link in a_links:if 'http' not in a_link['href']:continuecate = a_link.text.strip()base_url = a_link['href']print(f'采集 `{cate}` 類別的美食數(shù)據(jù),{base_url}')for page in range(1, 26):url = base_url + 'p{}'.format(page)print(f'>采集:{url}')headers['Referer'] = referer_urlresp = requests.get(url, headers=headers)resp.encoding = 'utf8'referer_url = urlsoup = BeautifulSoup(resp.text, 'lxml')shop_list = soup.find('div', id='shop-all-list')if shop_list is None:print("沒有找到符合條件的商戶~")continueshops = shop_list.find_all('li')for shop_li in shops:try:# 商鋪鏈接href = shop_li.find('div', class_='tit').a['href']# 商鋪圖片# 。。。。。# 省略其他代碼shop_info = (name, image_url, href, star, review_num, mean_price, food_type, addr, recommend_food)batch_insert_datas.append(shop_info)except:print(page)print(shop_li)continueif len(batch_insert_datas) % 10 == 0:sql = "INSERT INTO meishi_info (name, image_url, href, star, review_num, mean_price, food_type, addr, recommend_food) VALUES (?,?,?,?,?,?,?,?,?);"cursor.executemany(sql, batch_insert_datas)conn.commit()total_shop_count += len(batch_insert_datas)print(f'已采集和解析商鋪數(shù)量:{total_shop_count}')batch_insert_datas.clear()
# 。。。。。
# 省略其他代碼
3. 城市熱門美食數(shù)據(jù)可視化分析系統(tǒng)
3.1 首頁及注冊登錄
3.2 熱門店鋪名稱詞云分析
3.3 餐飲店鋪菜系分析?
3.3.1?不同菜系商鋪數(shù)量分布情況
3.3.2?不同菜系評分分布情況
3.3.3?不同菜系平均人均消費價格分布情況?
3.4?商鋪地理區(qū)域分析
3.4.1?餐飲店鋪人均價格和評分在不同地區(qū)的分布情況
3.4.2 不同類型餐飲店鋪的人均價格和評分的分布情況?
3.5?餐飲商鋪個性化推薦
4. 總結(jié)
????????本項目利用網(wǎng)絡(luò)爬蟲技術(shù)從XX點評APP采集北京市的餐飲商鋪數(shù)據(jù),利用數(shù)據(jù)挖掘技術(shù)對北京美食的分布、受歡迎程度、評價、評論、位置等情況進行了深入分析,方便了解城市美食店鋪的運營狀況、消費者需求、市場趨勢和競爭格局等。 本系統(tǒng)利用 Flask 搭建 web 后端分析服務(wù),利用 Bootstrap 和 Echarts 等搭建交互式可視化分析系統(tǒng)。
??歡迎大家點贊、收藏、關(guān)注、評論啦 ,由于篇幅有限,只展示了部分核心代碼。技術(shù)交流、源碼獲取認準下方?CSDN 官方提供的學(xué)長 QQ 名片 :)
精彩專欄推薦訂閱:
1. Python 畢設(shè)精品實戰(zhàn)案例
2. 自然語言處理 NLP 精品實戰(zhàn)案例
3. 計算機視覺 CV 精品實戰(zhàn)案例