前言

繼上次我們寫(xiě)了數(shù)據(jù)采集與AI分析，亮數(shù)據(jù)+通義千問(wèn)助力跨境電商前行的文章之后，好多小伙伴來(lái)后臺(tái)留言，表示對(duì)亮數(shù)據(jù)的數(shù)據(jù)采集非常感興趣，并且感覺(jué)用起來(lái)非常順手，大大減少了小白用戶獲取數(shù)據(jù)的成本。

在這兒，阿Q有必要再重復(fù)一下數(shù)據(jù)采集在跨境電商領(lǐng)域的重要性：隨著行業(yè)競(jìng)爭(zhēng)的日益激烈和市場(chǎng)的快速演變，數(shù)據(jù)采集不僅能讓企業(yè)洞悉不同國(guó)家和地區(qū)的市場(chǎng)需求與消費(fèi)習(xí)慣，還能深入剖析目標(biāo)市場(chǎng)的特征、客戶行為模式以及行業(yè)發(fā)展的新趨勢(shì)。通過(guò)數(shù)據(jù)采集，跨境電商企業(yè)能夠精確調(diào)整產(chǎn)品定位，優(yōu)化營(yíng)銷策略，以實(shí)現(xiàn)更高的市場(chǎng)響應(yīng)度和顧客滿意度。

今天阿Q將帶領(lǐng)大家一起來(lái)探索下亮數(shù)據(jù)的其他重要功能：亮數(shù)據(jù)瀏覽器、亮網(wǎng)絡(luò)解鎖器。

數(shù)據(jù)采集工具

工欲善其事，必先利其器。接下來(lái)介紹下本次實(shí)戰(zhàn)用到的兩款采集工具：

亮數(shù)據(jù)瀏覽器

亮數(shù)據(jù)瀏覽器是市面上第一款內(nèi)置自動(dòng)網(wǎng)站解鎖功能的瀏覽器，它可以輕松實(shí)現(xiàn)批量網(wǎng)頁(yè)數(shù)據(jù)的抓取。他的特點(diǎn)如下：

• 兼容Puppeteer, Playwright和Selenium：
  比內(nèi)置代理和解鎖技術(shù)的自動(dòng)瀏覽器和無(wú)頭瀏覽器更強(qiáng)大，輕松調(diào)用API以獲取任意數(shù)量的瀏覽器會(huì)話，并使用Puppeteer (Python)、Playwright (Node.js)或Selenium與它們交互。非常適合需要網(wǎng)站交互來(lái)檢索數(shù)據(jù)的抓取項(xiàng)目，例如將鼠標(biāo)懸停在頁(yè)面上、單擊按鈕、滾動(dòng)、添加文本等。
• 解鎖最強(qiáng)大的網(wǎng)頁(yè)屏蔽：
  大規(guī)模抓取總是需要復(fù)雜的解鎖操作，亮數(shù)據(jù)瀏覽器后臺(tái)自動(dòng)管理所有網(wǎng)站解鎖操作：CAPTCHA解決、瀏覽器指紋識(shí)別、自動(dòng)重試、標(biāo)頭選擇、cookie和Javascript渲染等，節(jié)省時(shí)間和資源。
• 輕易繞過(guò)任何機(jī)器人檢測(cè)軟件：
  使用 AI 技術(shù)，亮數(shù)據(jù)瀏覽器會(huì)不斷調(diào)整，自動(dòng)學(xué)習(xí)繞過(guò)機(jī)器人檢測(cè)系統(tǒng)，以真實(shí)用戶瀏覽器的形式出現(xiàn)在機(jī)器人檢測(cè)系統(tǒng)中，以實(shí)現(xiàn)比代理更高的解鎖成功率，告別屏蔽麻煩，節(jié)約成本。
• 根據(jù)需要批量使用網(wǎng)絡(luò)抓取瀏覽器：
  亮數(shù)據(jù)瀏覽器托管在強(qiáng)大的可高度擴(kuò)展的基礎(chǔ)架構(gòu)之上，這賦予你自由使用任何數(shù)量的瀏覽器來(lái)運(yùn)行數(shù)據(jù)抓取項(xiàng)目的可能
• 具有一系列集成的多合瀏覽器：
  使用由API支持的一站式瀏覽器來(lái)抓取公開(kāi)網(wǎng)絡(luò)數(shù)據(jù)，節(jié)省時(shí)間和成本。

亮網(wǎng)絡(luò)解鎖器

亮網(wǎng)絡(luò)解鎖器可以以前所未有的成功率自動(dòng)解鎖防范最嚴(yán)密的網(wǎng)站。它的成功率超高，不成功不收費(fèi)，自動(dòng)化周期管理，并且不需要任何的編碼和爬蟲(chóng)經(jīng)驗(yàn)即可使用。

亮網(wǎng)絡(luò)解鎖器主要亮點(diǎn)：

• 自動(dòng)重試請(qǐng)求管理：機(jī)器學(xué)習(xí)重試和驗(yàn)證碼解析，讓我們的請(qǐng)求獲得快速成功
• 內(nèi)容驗(yàn)證：請(qǐng)求時(shí)間、數(shù)據(jù)類型、響應(yīng)內(nèi)容進(jìn)行驗(yàn)證
• 網(wǎng)絡(luò)指紋全程自動(dòng)處理：網(wǎng)絡(luò)（IP類型、動(dòng)態(tài)IP、TSL協(xié)議）、協(xié)議（HTTP標(biāo)頭控制,生成用戶代理,支持HTTP2）、OS/硬件（模擬設(shè)備、屏幕分辨率、內(nèi)存、cpu等）、瀏覽器Cookie管理,仿真瀏覽器指紋(字體,音頻,畫(huà)布等)

數(shù)據(jù)采集實(shí)戰(zhàn)

ebay網(wǎng)站數(shù)據(jù)采集

ebay是一個(gè)全球知名的電商平臺(tái)，以其多樣化的產(chǎn)品選擇和便捷的交易方式著稱。從古董、藝術(shù)品到電子產(chǎn)品、時(shí)尚服飾，ebay上幾乎可以找到各種消費(fèi)者需求的商品，為賣(mài)家提供了一個(gè)龐大的全球市場(chǎng)，也為買(mǎi)家提供了豐富多樣的購(gòu)物選擇。

進(jìn)入ebay官網(wǎng)，只需在搜索框中輸入“Mouse”，點(diǎn)擊搜索后，會(huì)被迅速引導(dǎo)至一個(gè)與鼠標(biāo)相關(guān)的商品列表頁(yè)面。這個(gè)頁(yè)面以直觀的方式展示了眾多鼠標(biāo)產(chǎn)品，每張商品圖片都清晰地展示了鼠標(biāo)的外觀，而旁邊的文字描述則詳細(xì)列出了鼠標(biāo)的品牌、型號(hào)、價(jià)格等關(guān)鍵信息，讓我們能夠輕松瀏覽并找到滿足您需求的鼠標(biāo)產(chǎn)品。

環(huán)境配置與安裝

首先進(jìn)入控制臺(tái)頁(yè)面，點(diǎn)擊基礎(chǔ)設(shè)施，然后點(diǎn)擊開(kāi)始使用

進(jìn)入亮數(shù)據(jù)瀏覽器配置頁(yè)面后，填寫(xiě)解決方案名稱，然后添加到控制臺(tái)中

在控制臺(tái)中顯示通道中有剛剛創(chuàng)建好的亮數(shù)據(jù)瀏覽器后，則說(shuō)明配置成功。

要使用亮數(shù)據(jù)瀏覽器，需要在本機(jī)安裝相關(guān)依賴環(huán)境。首先切換到本機(jī)，打開(kāi)CMD窗口，輸入pip3 install playwright安裝playwright，系統(tǒng)會(huì)默認(rèn)安裝其相關(guān)依賴。如圖所示，安裝成功

數(shù)據(jù)采集

回到控制臺(tái)，點(diǎn)擊代理IP網(wǎng)絡(luò)和爬蟲(chóng)基礎(chǔ)設(shè)施，選擇剛剛創(chuàng)建好的亮數(shù)據(jù)瀏覽器，點(diǎn)擊進(jìn)入詳情。

訪問(wèn)參數(shù)介紹：

• 主機(jī)是遠(yuǎn)程瀏覽器代理的默認(rèn)主機(jī)地址和端口。其中brd.superproxy.io是服務(wù)器的地址，而9222和9515則是這個(gè)服務(wù)監(jiān)聽(tīng)的兩個(gè)端口號(hào)。通過(guò)這個(gè)地址和端口，客戶端可以與遠(yuǎn)程的瀏覽器實(shí)例進(jìn)行通信。
• 用戶名和密碼是用于身份驗(yàn)證的，只有在成功連接到遠(yuǎn)程瀏覽器代理并提供了正確的用戶名和密碼之后，才能證明客戶端對(duì)代理的訪問(wèn)權(quán)限。
• IP用于授權(quán)可以訪問(wèn)遠(yuǎn)程瀏覽器代理的地址，需要將本機(jī)的IP添加到有使用權(quán)限的IP這一欄中。

然后點(diǎn)擊右下角的查看代碼和集成示例，進(jìn)入集成示例頁(yè)面

可以看到，亮數(shù)據(jù)瀏覽器為我們提供了Node.js、Python、C#、Java語(yǔ)言，提供了Puppeter、Playwright、Selenium等多種庫(kù)，這里選擇使用Python + Playwright的方法進(jìn)行設(shè)計(jì)。

將鼠標(biāo)列表的鏈接https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2334524.m570.l1313&_nkw=Mouse&_sacat=0&_odkw=%E9%BC%A0%E6%A0%87&_osacat=0作為目標(biāo)網(wǎng)站，定位國(guó)家選擇印度（India），生成代碼如下，部分信息用*號(hào)進(jìn)行加密處理

import asyncio
from playwright.async_api import async_playwrightSBR_WS_CDP = 'wss://brd-customer-hl_****-zone-browser_mouse-country-in:*****@brd.superproxy.io:9222'async def run(pw):print('Connecting to Scraping Browser...')browser = await pw.chromium.connect_over_cdp(SBR_WS_CDP)try:page = await browser.new_page()print('Connected! Navigating to https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2334524.m570.l1313&_nkw=Mouse&_sacat=0&_odkw=%E9%BC%A0%E6%A0%87&_osacat=0...')await page.goto('https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2334524.m570.l1313&_nkw=Mouse&_sacat=0&_odkw=%E9%BC%A0%E6%A0%87&_osacat=0')# CAPTCHA handling: If you're expecting a CAPTCHA on the target page, use the following code snippet to check the status of Scraping Browser's automatic CAPTCHA solver# client = await page.context.new_cdp_session(page)# print('Waiting captcha to solve...')# solve_res = await client.send('Captcha.waitForSolve', {#     'detectTimeout': 10000,# })# print('Captcha solve status:', solve_res['status'])print('Navigated! Scraping page content...')html = await page.content()print(html)finally:await browser.close()async def main():async with async_playwright() as playwright:await run(playwright)if __name__ == '__main__':asyncio.run(main())

然后將生成的代碼復(fù)制到 mouse.py中，使用python mouse.py 執(zhí)行，得到完整的content數(shù)據(jù)如下，完成本節(jié)任務(wù)！

Temu網(wǎng)站數(shù)據(jù)采集

Temu，作為一家創(chuàng)立于2019年的電商平臺(tái)，專注于服務(wù)年輕消費(fèi)群體。該平臺(tái)匯集了眾多時(shí)尚、潮流且品質(zhì)上乘的消費(fèi)品，涵蓋了從時(shí)尚的服飾鞋類，到實(shí)用的家居用品，再到貼心的個(gè)人護(hù)理產(chǎn)品，以及運(yùn)動(dòng)健康用品等多元化選擇。Temu的一大亮點(diǎn)在于其親民的價(jià)格策略，它始終致力于為顧客提供物有所值、性價(jià)比高的商品。

此外，Temu深知網(wǎng)絡(luò)安全的重要性，因此在網(wǎng)站安全方面采取了多項(xiàng)嚴(yán)密措施。在用戶進(jìn)行登錄、注冊(cè)或提交表單等操作時(shí)，Temu會(huì)要求用戶輸入驗(yàn)證碼，以驗(yàn)證用戶身份的真實(shí)性；同時(shí)，它還會(huì)檢測(cè)訪問(wèn)請(qǐng)求的IP地址，以識(shí)別并防止?jié)撛诘木W(wǎng)絡(luò)攻擊；此外，Temu還采用了動(dòng)態(tài)頁(yè)面加載技術(shù)，以提高網(wǎng)站的安全性和穩(wěn)定性，從而有效防止異常訪問(wèn)的發(fā)生。

如上圖在使用Temu時(shí)，系統(tǒng)會(huì)跳出驗(yàn)證碼，要求正確輸入驗(yàn)證碼以完成操作。這一機(jī)制的主要目的是確認(rèn)用戶不是機(jī)器人或自動(dòng)化腳本，從而有效防止惡意注冊(cè)、暴力獲取數(shù)據(jù)等不當(dāng)行為。

亮網(wǎng)絡(luò)解鎖器能在后臺(tái)完全模擬真實(shí)用戶操作，能高效繞過(guò)驗(yàn)證碼的阻止和限制，模擬真實(shí)用戶和網(wǎng)絡(luò)指紋，發(fā)送并發(fā)請(qǐng)求，獲得完美暢通的響應(yīng)。

亮網(wǎng)絡(luò)解鎖器配置

進(jìn)入控制臺(tái)頁(yè)面，點(diǎn)擊基礎(chǔ)設(shè)施，選擇亮網(wǎng)絡(luò)解鎖器，開(kāi)始使用。

進(jìn)入亮網(wǎng)絡(luò)解鎖器配置頁(yè)面，填寫(xiě)解決方案名稱，然后添加到控制臺(tái)中。

數(shù)據(jù)采集

跟亮數(shù)據(jù)瀏覽器一樣，需要配置一下本地ip，開(kāi)放權(quán)限，然后點(diǎn)擊代碼示例

亮網(wǎng)絡(luò)解鎖器提供了API、瀏覽器、移動(dòng)代理等類型，并提供了Chrome、Edge、Safari、Firefox、Android等多種方式。這里選擇API方法，選擇Python作為語(yǔ)言。

將搜索的車(chē)載支架鏈接https://www.temu.com/search_result.html?search_key=%E8%BD%A6%E8%BD%BD%E6%94%AF%E6%9E%B6&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&_x_sessn_id=m7zkobrml4&refer_page_name=home&refer_page_id=10005_1718866879913_0rhl7yv3dt&refer_page_sn=10005放到目標(biāo)網(wǎng)站內(nèi)，然后定位國(guó)家依舊是印度（India），生成代碼示例，使用*進(jìn)行加密處理

#!/usr/bin/env python
print('If you get error "ImportError: No module named \'six\'" install six:\n'+\'$ sudo pip install six');
print('To enable your free eval account and get CUSTOMER, YOURZONE and ' + \'YOURPASS, please contact sales@brightdata.com')
import sys
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
if sys.version_info[0]==2:import sixfrom six.moves.urllib import requestopener = request.build_opener(request.ProxyHandler({'http': 'http://brd-customer-*******-zone-web_unlocker1-country-in:******@brd.superproxy.io:22225','https': 'http://brd-customer-hl_******-zone-web_unlocker1-country-in:******@brd.superproxy.io:22225'}))print(opener.open('https://www.temu.com/search_result.html?search_key=%E8%BD%A6%E8%BD%BD%E6%94%AF%E6%9E%B6&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&_x_sessn_id=m7zkobrml4&refer_page_name=home&refer_page_id=10005_1718866879913_0rhl7yv3dt&refer_page_sn=10005').read())
if sys.version_info[0]==3:import urllib.requestopener = urllib.request.build_opener(urllib.request.ProxyHandler({'http': 'http://brd-customer-hl_*****-zone-web_unlocker1-country-in:*****@brd.superproxy.io:22225','https': 'http://brd-customer-hl_*****-zone-web_unlocker1-country-in:*****@brd.superproxy.io:22225'}))print(opener.open('https://www.temu.com/search_result.html?search_key=%E8%BD%A6%E8%BD%BD%E6%94%AF%E6%9E%B6&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&_x_sessn_id=m7zkobrml4&refer_page_name=home&refer_page_id=10005_1718866879913_0rhl7yv3dt&refer_page_sn=10005').read())

將以上代碼放到test.py文件中，使用python test.py執(zhí)行，得到完整的content數(shù)據(jù)如下，完成本節(jié)任務(wù)！

總結(jié)

在對(duì)比內(nèi)置代理和解鎖技術(shù)的自動(dòng)或無(wú)頭瀏覽器時(shí)，亮數(shù)據(jù)瀏覽器以其卓越的功能脫穎而出。用戶通過(guò)亮數(shù)據(jù)瀏覽器的管理界面，能夠輕松設(shè)置抓取任務(wù)和參數(shù)，實(shí)現(xiàn)多會(huì)話的批量數(shù)據(jù)抓取，從而顯著提高了工作效率，降低了人力和時(shí)間成本。這種高度自動(dòng)化的特性讓亮數(shù)據(jù)瀏覽器在面對(duì)網(wǎng)絡(luò)環(huán)境的各種挑戰(zhàn)時(shí)，都能展現(xiàn)出卓越的適應(yīng)性。

亮網(wǎng)絡(luò)解鎖器不僅模擬瀏覽網(wǎng)頁(yè)、點(diǎn)擊鏈接和數(shù)據(jù)抓取等操作，而且能夠精準(zhǔn)高效地完成任務(wù)。其智能IP請(qǐng)求管理功能尤為出色，可以根據(jù)目標(biāo)網(wǎng)站的規(guī)則和限制，自動(dòng)調(diào)整請(qǐng)求頻率，有效防止因請(qǐng)求過(guò)于頻繁而導(dǎo)致的IP屏蔽問(wèn)題。對(duì)于數(shù)據(jù)科學(xué)家、網(wǎng)絡(luò)開(kāi)發(fā)者乃至廣大用戶而言，亮網(wǎng)絡(luò)解鎖器無(wú)疑是一個(gè)高效且可靠的得力助手。

在數(shù)據(jù)采集領(lǐng)域，一個(gè)穩(wěn)定、高效且靈活的解決方案是企業(yè)和開(kāi)發(fā)者不可或缺的。亮數(shù)據(jù)平臺(tái)正是這樣一個(gè)全面、可定制且靈活的解決方案，它提供了卓越的用戶體驗(yàn)和專業(yè)技術(shù)支持，是數(shù)據(jù)采集工作的理想選擇。

趕快來(lái)體驗(yàn)吧！