?引言

最近數(shù)據(jù)分析的熱度在編程社區(qū)不斷攀升，有很多小伙伴都開始學(xué)習(xí)或從事數(shù)據(jù)采集相關(guān)的工作。然而，網(wǎng)站數(shù)據(jù)已經(jīng)成為網(wǎng)站的核心資產(chǎn)，許多網(wǎng)站都會(huì)設(shè)置一系列很復(fù)雜的防范措施，阻止外部人員隨意采集其數(shù)據(jù)。為了解決這個(gè)問(wèn)題，使用代理IP來(lái)訪問(wèn)網(wǎng)站就是一種既簡(jiǎn)單又有效的解決方案。使用代理IP能夠讓訪問(wèn)網(wǎng)站的流量看起來(lái)是由多個(gè)用戶發(fā)出，而不是來(lái)自同一用戶，從而避免被網(wǎng)站識(shí)別為爬蟲程序。今天就和大家分享如何使用代理IP爬取數(shù)據(jù)。

亮數(shù)據(jù)最佳商用代理IP網(wǎng)絡(luò)服務(wù)商，極易配置，高級(jí)代理包括：機(jī)房代理、動(dòng)態(tài)住宅、靜態(tài)住宅ISP以及移動(dòng)IP代理。https://www.bright.cn/proxy-types/?utm_source=brand&utm_campaign=brnd-mkt_cn_csdn_yingjie6&promo=yingjie6

亮數(shù)據(jù)ISP代理服務(wù)

????????目前市面上代理IP服務(wù)的廠家有很多，亮數(shù)據(jù)屬于比較早開始做的一批。經(jīng)過(guò)多年的技術(shù)積累，不論是IP質(zhì)量、穩(wěn)定性還有一些便捷工具上都有它獨(dú)到之處。這次我們就選擇它作為我們代理IP的服務(wù)平臺(tái)。

?

????????注冊(cè)并登錄賬號(hào)之后，點(diǎn)擊無(wú)限數(shù)據(jù)中心就可以開始購(gòu)買服務(wù)了。下方的抓取瀏覽器、網(wǎng)絡(luò)解鎖器和搜索引擎爬蟲SERP是亮數(shù)據(jù)為用戶設(shè)計(jì)的低代碼爬蟲工具，大家可以按需取用。

?

????????這里我們需要填寫名稱和IP數(shù)量，其他使用默認(rèn)設(shè)置即可。這次由于我們采集的是境外網(wǎng)站，所以IP區(qū)域選擇大陸以外提高訪問(wèn)成功率。

?

????????配置好之后即可在控制臺(tái)找到購(gòu)買的業(yè)務(wù)，這是也會(huì)彈出一個(gè)幫助，為我們提供了預(yù)設(shè)的API接口和一段預(yù)置的代碼。

?

????????我們把它復(fù)制下來(lái)，方便后面編寫爬蟲。之后我們要到代理服務(wù)的設(shè)置中添加白名單，把我們本地的IP地址填進(jìn)白名單中，就可以正常訪問(wèn)了。

?

最后我們使用生成的樣例代碼測(cè)試一下服務(wù)是否通暢?？梢钥吹竭\(yùn)行之后回顯了代理IP的區(qū)域信息。

?

實(shí)戰(zhàn)：爬取Zillow房屋租賃頁(yè)面

????????Zillow是一個(gè)美國(guó)的在線房地產(chǎn)信息平臺(tái)，主要提供住宅買賣、租賃和投資信息。它包含了豐富的房數(shù)據(jù)和工具幫助用戶了解市場(chǎng)、尋找合適的房源并做出明智的決策。首先我們先來(lái)觀察一下目標(biāo)網(wǎng)頁(yè)。以紐約房?jī)r(jià)為例，我們搜索“new york”可以得到搜索結(jié)果。

?

????????我們本次的目標(biāo)就在右邊這個(gè)區(qū)域。按F12觀察頁(yè)面結(jié)構(gòu)，可以看到所有搜索結(jié)果都是result-list-container的div中的一個(gè)列表中，每個(gè)<li>代表一個(gè)信息卡片。

?

????????展開<li>標(biāo)簽即可看到房源的地址和頁(yè)面鏈接對(duì)應(yīng)一個(gè)address標(biāo)簽和一個(gè)a標(biāo)簽。

?

????????而價(jià)格和戶型則分別位于一個(gè)property-card-price的span和另一個(gè)ul列表中。

?

????????這里戶型信息分散在ul的每個(gè)li中，要多次取出再拼接。順便在網(wǎng)絡(luò)中獲得一些請(qǐng)求的頭信息，等一下制作爬蟲的時(shí)候會(huì)用到。

?

????????分析完頁(yè)面，我們就可以開始制作爬蟲了。我們主要分兩個(gè)階段執(zhí)行，首先下載網(wǎng)頁(yè)，然后使用xpath提取出目標(biāo)數(shù)據(jù)。我們這次的任務(wù)目標(biāo)是房源的地址、價(jià)錢、頁(yè)面鏈接和戶型信息。

????????首先我們配置一些全局參數(shù)。包括亮數(shù)據(jù)平臺(tái)的API接口，前面我們拿到的請(qǐng)求頭，目標(biāo)URL。

proxy = {'http': 'http://brd-customer-hl_a0a48734-zone-zillow:1ps57ihiyeg1@brd.superproxy.io:22225','https': 'http://brd-customer-hl_a0a48734-zone-zillow:1ps57ihiyeg1@brd.superproxy.io:22225'}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:128.0) Gecko/20100101 Firefox/128.0'}
url = 'http://www.zillow.com/new-york-ny/'

????????之后我們通過(guò)get_page()函數(shù)發(fā)送請(qǐng)求并獲取頁(yè)面內(nèi)容。首先構(gòu)建一個(gè)opener并將代理信息包含進(jìn)去。之后通過(guò)這個(gè)opener和前面定義的請(qǐng)求頭發(fā)送請(qǐng)求，將響應(yīng)結(jié)果轉(zhuǎn)換為文本并返回。

def get_page(target_url):opener = urllib.request.build_opener(urllib.request.ProxyHandler(proxy))req = urllib.request.Request(target_url, headers=headers)res = opener.open(req).read()return res

之后通過(guò)parse_page()函數(shù)解析HTML并提取數(shù)據(jù)。首先將網(wǎng)頁(yè)HTML字符串解析為一個(gè)lxml的Element對(duì)象。然后使用XPath查找所有<li>標(biāo)簽，這些標(biāo)簽即為每個(gè)房產(chǎn)的信息卡片。接下來(lái)在每個(gè)<li>中分別提取：每個(gè)房產(chǎn)的鏈接，路徑為/article//a[@class="property-card-link"]/@href；房產(chǎn)地址，路徑為/article//a[@class="property-card-link"]/address/text()；房產(chǎn)價(jià)格，路徑為/article//span[@data-test="property-card-price"]/text()；房產(chǎn)的詳細(xì)信息，包括房間數(shù)、面積等，路徑為/article//div[@class="property-card-data"]/div[2]/ul/li。最后將提取的數(shù)據(jù)被放入result列表中，并返回。

def parse_page(html):root = etree.HTML(html)lis = root.xpath('//div[@class="search-page-list-header"]/ul/li')result = []for li in lis:link = li.xpath('/article//a[@class="property-card-link"]/@href')[0]address = li.xpath('/article//a[@class="property-card-link"]/address/text()')[0]price = li.xpath('/article//span[@data-test="property-card-price"]/text()')[0]details = li.xpath('/article//div[@class="property-card-data"]/div[2]/ul/li')detail = ""for d in details:detail += d.xpath('/b/text()')[0] + ';'result.append({"link": link, "address": address, "price": price, "detail": detail})return result

最后調(diào)用這兩個(gè)函數(shù)獲取結(jié)果。完整代碼如下：

#!/usr/bin/env python
import urllib.request
from lxml import etreeproxy = {'http': 'http://brd-customer-hl_a0a48734-zone-zillow:1ps57ihiyeg1@brd.superproxy.io:22225','https': 'http://brd-customer-hl_a0a48734-zone-zillow:1ps57ihiyeg1@brd.superproxy.io:22225'}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:128.0) Gecko/20100101 Firefox/128.0'}
url = 'http://www.zillow.com/new-york-ny/'def get_page(target_url):opener = urllib.request.build_opener(urllib.request.ProxyHandler(proxy))req = urllib.request.Request(target_url, headers=headers)res = opener.open(req).read()print(res)return resdef parse_page(html):root = etree.HTML(html)lis = root.xpath('//div[@class="search-page-list-header"]/ul/li')result = []for li in lis:link = li.xpath('/article//a[@class="property-card-link"]/@href')[0]address = li.xpath('/article//a[@class="property-card-link"]/address/text()')[0]price = li.xpath('/article//span[@data-test="property-card-price"]/text()')[0]details = li.xpath('/article//div[@class="property-card-data"]/div[2]/ul/li')detail = ""for d in details:detail += d.xpath('/b/text()')[0] + ';'result.append({"link": link, "address": address, "price": price, "detail": detail})return resultprint(parse_page(get_page(url)))

運(yùn)行之后可以看到成功抓取到了數(shù)據(jù)。

?

總結(jié)

????????? 通過(guò)上面的實(shí)戰(zhàn)，我們可以看到代理服務(wù)可以大大提高爬蟲的匿名性和效率。亮數(shù)據(jù)家的代理可以滿足這兩點(diǎn)需求。

????????對(duì)開發(fā)者而言，亮數(shù)據(jù)代理以其簡(jiǎn)單易用的特性，大幅降低了技術(shù)門檻。 開發(fā)者可以快速上手，無(wú)需深入了解代理服務(wù)的底層技術(shù)細(xì)節(jié)，即可實(shí)現(xiàn)高效的數(shù)據(jù)抓取。這不僅加快了開發(fā)進(jìn)程，也使得開發(fā)者能夠?qū)⒏嗑ν度氲綌?shù)據(jù)分析和業(yè)務(wù)邏輯的構(gòu)建上。

????????對(duì)于采購(gòu)者，亮數(shù)據(jù)代理提供的價(jià)格實(shí)惠和套餐靈活，滿足了不同規(guī)模和需求的采購(gòu)預(yù)算。 用戶可以根據(jù)自己的實(shí)際需求選擇合適的套餐，無(wú)論是初創(chuàng)企業(yè)還是大型機(jī)構(gòu)，都能找到符合自身預(yù)算的解決方案。

促銷來(lái)啦

亮數(shù)據(jù)重磅推出“免費(fèi)試用優(yōu)惠”及“首次充值優(yōu)惠”

1）即日起，注冊(cè)新用戶，可以獲得2+5共7美金免費(fèi)試用產(chǎn)品的機(jī)會(huì)。

2）新客戶首次充值優(yōu)惠，充多少送多少，最高500美金。

3）數(shù)據(jù)中心代理和靜態(tài)代理，最近做了大幅的價(jià)格和收費(fèi)模式的調(diào)整，頗具競(jìng)爭(zhēng)力，有興趣的可以上公司主頁(yè)了解詳情。以上充值贈(zèng)送活動(dòng)，針對(duì)數(shù)據(jù)中心和靜態(tài)代理同樣有效！

智能助手，一路隨行

????????許多新手用戶，剛開始接觸亮數(shù)據(jù)的產(chǎn)品，對(duì)于代理及相關(guān)技術(shù)不熟悉，一時(shí)不知如何操作。我們的軟件研發(fā)團(tuán)隊(duì)在產(chǎn)品里內(nèi)嵌了ChatGPT，您可以直接以中文提出問(wèn)題，獲得相關(guān)的幫助。

????????您可以在初始登錄界面的上方，找到這個(gè)可以輸入文字的小框，開始用AI查詢并獲得幫助。

?

????????輸入問(wèn)題后，稍等片刻，就會(huì)彈出相應(yīng)的幫助內(nèi)容回答。這里我們以“如何選擇代理服務(wù)”舉例，可以看到系統(tǒng)處理后，自動(dòng)彈出中英文雙語(yǔ)的內(nèi)容，并提供了相關(guān)的鏈接，供您進(jìn)一步參考。

?

????????亮數(shù)據(jù)為此次內(nèi)容提供額外優(yōu)惠：現(xiàn)在體驗(yàn)，可以享受以上所有的價(jià)格優(yōu)惠的同時(shí)，再送15美金特別試用金！