前言

網(wǎng)絡(luò)搜索是從網(wǎng)站中提取數(shù)據(jù)的藝術(shù)，它已成為開(kāi)發(fā)人員、數(shù)據(jù)分析師和初創(chuàng)團(tuán)隊(duì)的首選工具。雖然谷歌最受關(guān)注，但對(duì)必應(yīng)搜索結(jié)果進(jìn)行刮擦也不失為一種明智之舉，尤其是在了解地區(qū)情況或 SERP 飽和度較低的情況下。在本指南中，我們將向你展示如何使用 Python 和 Requests、Beautiful Soup 和 Playwright 等工具對(duì) Bing 進(jìn)行搜索。

一、為什么要搜索Bing搜索？

雖然Google經(jīng)常占據(jù)中心位置，但Bing也有自己的優(yōu)勢(shì)，尤其是對(duì)于那些需要挖掘獨(dú)特?cái)?shù)據(jù)的人來(lái)說(shuō)，必應(yīng)值得一試。由于Bing的內(nèi)容種類(lèi)更豐富、搜索結(jié)果更簡(jiǎn)潔、區(qū)域相關(guān)性更強(qiáng)，因此搜索必應(yīng)的搜索結(jié)果可以讓您獲得在其他地方可能會(huì)錯(cuò)過(guò)的洞察力。

Bing 的算法經(jīng)常會(huì)出現(xiàn)與谷歌不同的頁(yè)面，這在你考察競(jìng)爭(zhēng)對(duì)手或試圖尋找非主流內(nèi)容時(shí)特別有用。例如，研究利基行業(yè)博客可能會(huì)在Bing上發(fā)現(xiàn)從未進(jìn)入Google 前十名的瑰寶。

由于較少公司主動(dòng)將Bing作為搜索引擎優(yōu)化的目標(biāo)，其結(jié)果也往往較少受到激進(jìn)的關(guān)鍵字堆砌或內(nèi)容農(nóng)場(chǎng)的影響。這意味著您更有可能獲得真正信息豐富的網(wǎng)頁(yè)，而不是大量的點(diǎn)擊誘餌和關(guān)聯(lián)性文章。

最后一個(gè)好處是，Bing是微軟設(shè)備上的默認(rèn)搜索引擎，這使它在特定地區(qū)和企業(yè)環(huán)境中擁有更強(qiáng)的立足點(diǎn)。如果你要分析美國(guó)或企業(yè)受眾的用戶(hù)行為，Bing可能比Google更能讓你一目了然。

簡(jiǎn)而言之，Bing 不僅僅是 “另一個(gè) ”搜索引擎——它是一個(gè)有價(jià)值的數(shù)據(jù)源，具有獨(dú)特的優(yōu)勢(shì)，尤其是當(dāng)您要尋找新的視角、更清晰的結(jié)果或特定地區(qū)的見(jiàn)解時(shí)。

二、搜索Bing搜索結(jié)果的用例

既然我們已經(jīng)介紹了Bing值得搜索的原因，那么讓我們來(lái)看看如何才能真正利用這些數(shù)據(jù)。

對(duì)于搜索引擎優(yōu)化極客來(lái)說(shuō)，Bing提供了一個(gè)全新的角度來(lái)了解您或您客戶(hù)的網(wǎng)站是如何出現(xiàn)在搜索結(jié)果中的。您可以監(jiān)控關(guān)鍵字排名，跟蹤隨時(shí)間推移而發(fā)生的變化，并發(fā)現(xiàn)在Bing上表現(xiàn)良好而在Google上表現(xiàn)不佳的網(wǎng)頁(yè)。

Bing搜索結(jié)果還有助于發(fā)現(xiàn)受眾偏好、流行話(huà)題和內(nèi)容差距。例如，準(zhǔn)備推出產(chǎn)品的初創(chuàng)公司可以通過(guò)分析Bing搜索結(jié)果，了解用戶(hù)正在提出哪些問(wèn)題，以及哪些解決方案目前在該領(lǐng)域占據(jù)主導(dǎo)地位。

想知道誰(shuí)在你的特定市場(chǎng)中獲得了關(guān)注？通過(guò)Bing搜索，您可以輕松跟蹤哪些競(jìng)爭(zhēng)對(duì)手在特定關(guān)鍵字上排名靠前，或在搜索結(jié)果中占據(jù)重要位置。這有助于企業(yè)微調(diào)其信息傳遞，或發(fā)現(xiàn)其他企業(yè)錯(cuò)失的機(jī)會(huì)。

一言以蔽之，Bing搜索不僅僅是為了收集簡(jiǎn)單的數(shù)據(jù)，而是為了在優(yōu)化、制定戰(zhàn)略和擴(kuò)展業(yè)務(wù)方面獲得優(yōu)勢(shì)。

三、搜索Bing搜索的工具和方法

所以，你已經(jīng)有了充分的理由和明確的使用案例——現(xiàn)在是時(shí)候談?wù)劰ぞ吡恕８鶕?jù)你的目標(biāo)、預(yù)算和技術(shù)訣竅水平，有幾種刮擦Bing搜索結(jié)果的方法。下面列出了最常見(jiàn)的幾種方法：

• 手動(dòng)搜索。將搜索結(jié)果復(fù)制并粘貼到電子表格中可能適用于一次性研究，但很快就難以為繼。這種方法速度慢、容易出錯(cuò)，而且對(duì)開(kāi)發(fā)人員絕對(duì)不友好。對(duì)于演示來(lái)說(shuō)非常好，但對(duì)于大規(guī)模數(shù)據(jù)來(lái)說(shuō)就太糟糕了。
• Python（Requests + Beautiful Soup）。對(duì)于簡(jiǎn)單的 HTML 頁(yè)面，Python 的 Requests 和 Beautiful Soup 庫(kù)輕便實(shí)用。這種方法非常適合不需要 JavaScript 渲染的快速腳本，比如從基本結(jié)果頁(yè)面抓取標(biāo)題、URL 和片段。
• Playwright。 Playwright 可讓你自動(dòng)執(zhí)行整個(gè)瀏覽器會(huì)話(huà)，因此非常適合抓取 JavaScript 較多的內(nèi)容或動(dòng)態(tài)內(nèi)容。它非常適合更高級(jí)的用例，如提取豐富的片段或模擬跨頁(yè)面的真實(shí)用戶(hù)行為。
• API 和第三方抓取。如果你想節(jié)省時(shí)間（和一些麻煩），使用專(zhuān)用的刮擦 API 是明智的選擇。例如，Decodo 的網(wǎng)絡(luò)抓取 API 可以處理從旋轉(zhuǎn)代理到解析 HTML 的所有事務(wù)，因此您可以專(zhuān)注于數(shù)據(jù)，而不是基礎(chǔ)設(shè)施。

當(dāng)大規(guī)?；蝾l繁地對(duì) Bing 進(jìn)行刮擦?xí)r，使用代理是避免被阻止的關(guān)鍵。代理可以掩蓋您的 IP 地址，并幫助將請(qǐng)求分發(fā)到多個(gè)位置，從而使必應(yīng)更難檢測(cè)到刮擦活動(dòng)。輪換使用住宅或數(shù)據(jù)中心代理（如 Decodo 提供的代理）可以顯著提高成功率，并保持您的刮擦活動(dòng)順暢無(wú)阻。

無(wú)論你是使用 Python 構(gòu)建抓取，還是依賴(lài)第三方 API，提取Bing搜索數(shù)據(jù)的方法并不缺乏。只要確保選擇與你的規(guī)模相匹配的方法——除非你喜歡 403 錯(cuò)誤，否則不要跳過(guò)代理。

四、如何使用 Python 搜刮Bing搜索結(jié)果

設(shè)置環(huán)境

現(xiàn)在，您已經(jīng)知道了為什么以及如何抓取 Bing 搜索結(jié)果，是時(shí)候設(shè)置您的 Python 環(huán)境了。我們將從 Requests 和 Beautiful Soup 開(kāi)始，然后使用 Playwright 創(chuàng)建更多動(dòng)態(tài)頁(yè)面。下面是如何開(kāi)始：

1. 安裝 Python。首先，確保計(jì)算機(jī)上安裝了 Python 3.7 或更高版本。您可以從 Python 官方網(wǎng)站下載。要檢查是否已安裝，請(qǐng)運(yùn)行

 python --version

2. 創(chuàng)建并激活虛擬環(huán)境（推薦）。使用虛擬環(huán)境隔離你的刮擦項(xiàng)目是個(gè)不錯(cuò)的做法，可以避免雜亂和庫(kù)沖突：

python -m venv bing-scraper-env
source bing-scraper-env/bin/activate  # On Windows use: bing-scraper-env\Scripts\activate

3. 安裝所需的庫(kù)。您需要一些 Python 軟件包才能開(kāi)始使用：

pip install requests beautifulsoup4 playwright

4. 安裝瀏覽器二進(jìn)制文件。安裝 Playwright 后，運(yùn)行以下命令安裝必要的瀏覽器二進(jìn)制文件：

playwright install

5. 測(cè)試設(shè)置。這里有一個(gè)簡(jiǎn)單的腳本來(lái)驗(yàn)證一切正常。該腳本使用 Requests 和 Beautiful Soup 來(lái)獲取和解析必應(yīng)的主頁(yè)：

import requests
from bs4 import BeautifulSoupresponse = requests.get("https://www.bing.com")
soup = BeautifulSoup(response.text, "html.parser")
title = soup.title.stringprint("Bing page title:", title)

如果你在終端中看到類(lèi)似 “Search - Microsoft Bing ”的標(biāo)題，那么恭喜你，你已經(jīng)準(zhǔn)備好開(kāi)始搜索了！接下來(lái)，我們將深入探討如何實(shí)際提取搜索結(jié)果。

使用 Python 進(jìn)行基本Bing搜索搜索

在深入研究瀏覽器自動(dòng)化之前，讓我們從最基本的開(kāi)始–發(fā)出 HTTP 請(qǐng)求并解析 HTML 響應(yīng)。這種方法非常適合 JavaScript 參與度不高的簡(jiǎn)單刮擦任務(wù)。我們將使用 Python 的 Requests 庫(kù)獲取頁(yè)面，并使用 Beautiful Soup 提取數(shù)據(jù)。

請(qǐng)注意，如果Bing檢測(cè)到自動(dòng)訪問(wèn)，它可能會(huì)返回不同的 HTML 或完全阻止請(qǐng)求，因此這種方法最適合小規(guī)模測(cè)試，或與旋轉(zhuǎn)用戶(hù)代理標(biāo)頭和代理服務(wù)器搭配使用。

要了解代理詳情和憑證，請(qǐng)?jiān)L問(wèn) Decodo 面板，購(gòu)買(mǎi)適合您需要的計(jì)劃，并獲取用戶(hù)名、密碼和端點(diǎn)信息。

import requests
from bs4 import BeautifulSoup# Replace with your actual proxy credentials
proxy_user = "user"
proxy_pass = "pass"
proxy_host = "gate.decodo.com"
proxy_port = "7000"# Build proxy dictionary
proxies = {"http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}","https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
}# User-Agent to simulate a real browser
headers = {"User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) ""AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/120.0.0.0 Safari/537.36")
}# Search query
query = "samsung"
url = f"https://www.bing.com/search?q={query.replace(' ', '+')}"# Send request through proxy
response = requests.get(url, proxies=proxies, timeout=10)# Parse HTML
soup = BeautifulSoup(response.text, "html.parser")
results = soup.find_all("li", class_="b_algo")# Extract all results
for result in results:title_tag = result.find("h2")url_tag = title_tag.find("a") if title_tag else Nonedesc_tag = result.find("p")title = title_tag.get_text(strip=True) if title_tag else "No title"link = url_tag["href"] if url_tag else "No URL"description = desc_tag.get_text(strip=True) if desc_tag else "No description"print(f"Title: {title}")print(f"URL: {link}")print(f"Description: {description}")print("-" * 80)

上述腳本的功能如下：

• 定義前提條件。代理憑證、用戶(hù)代理標(biāo)頭、查詢(xún)和目標(biāo) URL 都寫(xiě)在這里，隨后將在腳本中使用。
• 發(fā)出請(qǐng)求。腳本通過(guò)代理服務(wù)器發(fā)送 HTTP GET 請(qǐng)求和用戶(hù)代理。這樣可以確保請(qǐng)求不被檢測(cè)到，并允許多次重復(fù)請(qǐng)求。
• 解析響應(yīng)。請(qǐng)求抓取 HTML 頁(yè)面后，Beautiful Soup 會(huì)對(duì)其進(jìn)行分析，并解析所需的信息。在這里，它會(huì)找到所有帶有 "b_algo "類(lèi)的
• 元素，這是每個(gè)搜索結(jié)果所在的容器。
• 找到標(biāo)題、URL 和描述。找到所有容器后，腳本會(huì)對(duì)其進(jìn)行循環(huán)，并找到標(biāo)題 (h2)、URL (href) 和描述 §。
• 打印結(jié)果。在循環(huán)中打印結(jié)果，然后重復(fù)該過(guò)程，直到找到搜索結(jié)果頁(yè)面的所有結(jié)果。

重要提示：使用代理服務(wù)器時(shí)，您的 IP 位置可能會(huì)影響必應(yīng)的語(yǔ)言和區(qū)域設(shè)置。與 Google 不同的是，如果查詢(xún)使用的是英語(yǔ)，但您的代理似乎來(lái)自法國(guó)或德國(guó)等地區(qū)，Bing 可能不會(huì)返回任何結(jié)果。要避免這種情況，可以選擇：

• 使用通用搜索詞（如品牌名稱(chēng)），
• 或在搜索請(qǐng)求中添加 setlang 和 cc（國(guó)家代碼）參數(shù)，手動(dòng)設(shè)置語(yǔ)言和地區(qū)：

url = (f"https://www.bing.com/search?q={query.replace(' ', '+')}"f"&setlang=en&cc=US")

Bing搜索的高級(jí)技術(shù)和常見(jiàn)挑戰(zhàn)

隨著B(niǎo)ing搜索設(shè)置的擴(kuò)展，簡(jiǎn)單的 HTTP 請(qǐng)求和 HTML 解析很快就會(huì)受到限制。Bing 的搜索引擎結(jié)果頁(yè)面包括動(dòng)態(tài)元素、分頁(yè)內(nèi)容和僵尸檢測(cè)機(jī)制，這使得僅使用 Requests 和 Beautiful Soup 進(jìn)行大規(guī)模刮擦變得不可靠。這就是 Playwright 的用武之地，它提供了一個(gè)瀏覽器自動(dòng)化層，其行為更接近真實(shí)用戶(hù)。

以下是 Playwright 更適合搜索Bing的原因：

• JavaScript 渲染。必應(yīng)使用 JavaScript 加載某些豐富的元素（如知識(shí)面板和新聞卡片）。Playwright 可以像真正的瀏覽器一樣執(zhí)行 JavaScript，讓您可以抓取完整的渲染頁(yè)面，而不僅僅是原始 HTML。
• 分頁(yè)控制。與基本的搜刮不同，Playwright 允許您點(diǎn)擊 "下一步 "按鈕，并通過(guò)完整的瀏覽器上下文動(dòng)態(tài)加載額外的搜索結(jié)果頁(yè)面。
• 模擬人類(lèi)行為。Playwright 支持鍵盤(pán)輸入、滾動(dòng)、鼠標(biāo)移動(dòng)和延遲，可讓您的機(jī)器人模擬真實(shí)用戶(hù)，幫助您避免被檢測(cè)和封禁。
• 更好地避免驗(yàn)證碼。雖然并非萬(wàn)無(wú)一失，但 Playwright 可以繞過(guò)必應(yīng)的一些輕度反機(jī)器人措施，只需表現(xiàn)得更像瀏覽器而不是機(jī)器人即可。
• 截屏和調(diào)試功能。Playwright 可以捕捉截圖，甚至錄制刮擦?xí)?huà)的視頻，從而更輕松地調(diào)試 DOM 中的變化或刮擦失敗。

下面是一個(gè) Playwright 腳本示例，它導(dǎo)航到 https://bing.com/，輸入搜索查詢(xún)，并抓取前 3 個(gè)結(jié)果頁(yè)面。它還會(huì)截取每個(gè)頁(yè)面的屏幕截圖，這樣你就可以看到頁(yè)面在搜索過(guò)程中的樣子，以及是否遇到任何問(wèn)題：

from playwright.async_api import async_playwright# Proxy configuration
PROXY_SERVER = "http://gate.decodo.com:7000"proxy_config = {"server": PROXY_SERVER,"username": "user", # Replace with your actual proxy details"password": "pass"
}async def scrape_bing(query="Samsung", pages=3):results = []async with async_playwright() as p:browser = await p.chromium.launch(headless=False,proxy=proxy_config)context = await browser.new_context()page = await context.new_page()# Go to Bing and searchawait page.goto("https://www.bing.com/", wait_until="networkidle")# Focus the search bar by clickingawait page.wait_for_selector("#sb_form_q", timeout=10000)await page.click("#sb_form_q")# Simulate real typingawait page.keyboard.type("Samsung", delay=100)# Wait a moment for suggestions/events to settleawait page.wait_for_timeout(500)# Press Enter twiceawait page.keyboard.press("Enter")await page.wait_for_timeout(200)await page.keyboard.press("Enter")await page.wait_for_selector("li.b_algo", timeout=30000)for page_number in range(1, pages + 1):await page.wait_for_selector("li.b_algo", timeout=10000)await page.screenshot(path=f"bing_page_{page_number}.png", full_page=True)elements = await page.query_selector_all("li.b_algo")for el in elements:title_el = await el.query_selector("h2")link_el = await title_el.query_selector("a") if title_el else Nonedesc_el = await el.query_selector("p")title = await title_el.inner_text() if title_el else "No title"url = await link_el.get_attribute("href") if link_el else "No URL"desc = await desc_el.inner_text() if desc_el else "No description"results.append({"Title": title,"URL": url,"Description": desc})next_button = await page.query_selector("a.sb_pagN")if next_button and page_number < pages:await next_button.click()await page.wait_for_timeout(3000)else:breakawait browser.close()# Save to CSVwith open("bing_results.csv", "w", newline='', encoding="utf-8") as f:writer = csv.DictWriter(f, fieldnames=["Title", "URL", "Description"])writer.writeheader()writer.writerows(results)print(f"Scraped {len(results)} results across {pages} page(s). Saved to 'bing_results.csv'.")asyncio.run(scrape_bing())

使用 API 搜索Bing

讓我們面對(duì)現(xiàn)實(shí)吧——雖然我們剛剛創(chuàng)建的 Playwright 腳本可以完成工作，但它太長(zhǎng)了，有點(diǎn)麻煩，而且絕對(duì)不是最適合初學(xué)者的。設(shè)置瀏覽器自動(dòng)化、處理頁(yè)面加載、導(dǎo)航分頁(yè)、旋轉(zhuǎn)代理服務(wù)器、祈禱 Bing 不會(huì)在運(yùn)行過(guò)程中拋出驗(yàn)證碼… 要做的事情太多了。老實(shí)說(shuō)，即使是經(jīng)驗(yàn)豐富的開(kāi)發(fā)人員也不喜歡維護(hù)刮擦腳本，因?yàn)檫@些腳本可能會(huì)在一夜之間因?yàn)橛脩?hù)界面的微小變化而崩潰。

這就是搜索 API 的用武之地。與雜亂無(wú)章地使用庫(kù)和調(diào)試選擇器相比，scraping API 可以為你處理一切事務(wù)–HTTP 請(qǐng)求、JavaScript 渲染、代理輪換、繞過(guò)驗(yàn)證碼等。當(dāng)您需要擴(kuò)展性、可靠性和快速迭代時(shí)，使用它們非常方便。

如果您正在尋找一個(gè)堅(jiān)如磐石的解決方案，Decodo 的網(wǎng)絡(luò)抓取 API 是一個(gè)不錯(cuò)的選擇。它專(zhuān)為性能而設(shè)計(jì)，包括高級(jí)代理輪換、內(nèi)置錯(cuò)誤處理功能，并可與必應(yīng)等主要目標(biāo)一起使用。下面是一個(gè)使用 Python 的簡(jiǎn)單 API 請(qǐng)求：

import requestsurl = "https://scraper-api.decodo.com/v2/scrape"payload = {"target": "bing_search","query": "samsung","page_from": "1","num_pages": "10","parse": True
} headers = {"accept": "application/json",
|    "content-type": "application/json","authorization": "Basic [your basic auth token]"
}response = requests.post(url, json=payload, headers=headers)  print(response.text)

你一定不會(huì)相信，API 的功能幾乎與之前的長(zhǎng)版 Playwright 腳本一模一樣。它甚至配備了用戶(hù)友好型 Web UI，只需點(diǎn)擊幾下，就能輕松配置和安排請(qǐng)求，并將結(jié)果導(dǎo)出為 JSON 或表格格式。

總結(jié)

使用 Python 對(duì)必應(yīng)搜索結(jié)果進(jìn)行抓取為我們帶來(lái)了很多機(jī)會(huì)–從發(fā)現(xiàn)地區(qū)性洞察到在飽和度較低的搜索領(lǐng)域追蹤競(jìng)爭(zhēng)對(duì)手。有了 Python’s Requests、Beautiful Soup、Playwright 和 Decodo’s網(wǎng)絡(luò)抓取 API 等工具，你就有了適合自己需求和規(guī)模的多種選擇。請(qǐng)記住：如果你要頻繁或大量地進(jìn)行網(wǎng)絡(luò)抓取，請(qǐng)不要忘記代理–它們是你在這次冒險(xiǎn)中最好的朋友。試試這里介紹的方法，看看 Bing 有哪些 Google 隱藏的洞察力。