用Python和SQL在BigQuery中進(jìn)行基礎(chǔ)數(shù)據(jù)查詢

在大數(shù)據(jù)分析領(lǐng)域，Google BigQuery 提供了一種快速且經(jīng)濟(jì)高效的數(shù)據(jù)處理方式。對(duì)于想要使用SQL查詢大規(guī)模數(shù)據(jù)的讀者來(lái)說(shuō)，BigQuery的公共數(shù)據(jù)集資源豐富、操作簡(jiǎn)便，是學(xué)習(xí)和實(shí)踐SQL基礎(chǔ)操作的理想平臺(tái)。

以下是一個(gè)通過(guò)Python和BigQuery進(jìn)行基礎(chǔ)SQL查詢的實(shí)際案例，我們將使用Google的一個(gè)公共數(shù)據(jù)集，并以一個(gè)簡(jiǎn)單的查詢示例來(lái)演示SQL在BigQuery中的應(yīng)用，涵蓋查詢、過(guò)濾、排序和聚合操作。

1. 準(zhǔn)備工作：選擇數(shù)據(jù)集

在BigQuery中，有多個(gè)免費(fèi)的公共數(shù)據(jù)集可供選擇。這里我們選擇了一個(gè)大家容易理解的公共數(shù)據(jù)集——Google Analytics的ecommerce數(shù)據(jù)集。該數(shù)據(jù)集包含電商網(wǎng)站的訪問(wèn)記錄，包括訪問(wèn)者的地理位置、設(shè)備類型、訪問(wèn)時(shí)間以及產(chǎn)品銷售情況等信息，非常適合用來(lái)進(jìn)行電商數(shù)據(jù)分析。

示例：電商產(chǎn)品銷售分析

假設(shè)我們是一家在線零售商，我們想要了解不同國(guó)家的銷售情況，并分析銷售額較高的市場(chǎng)。這個(gè)分析有助于公司決定將更多營(yíng)銷資源投入到哪些國(guó)家市場(chǎng)中。

2. 使用SQL進(jìn)行基礎(chǔ)查詢

我們將從數(shù)據(jù)集中選擇所需的字段并進(jìn)行簡(jiǎn)單查詢。以下是一個(gè)基本SQL查詢：

SELECT geoNetwork.country AS country,SUM(totals.transactionRevenue) AS total_revenue
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801`
WHERE totals.transactionRevenue IS NOT NULL
GROUP BY country
ORDER BY total_revenue DESC
LIMIT 10;

查詢解釋

• geoNetwork.country: 查詢國(guó)家字段，以便知道每個(gè)交易來(lái)自哪個(gè)國(guó)家。
• totals.transactionRevenue: 使用總收入字段來(lái)計(jì)算每個(gè)國(guó)家的總銷售額。
• WHERE totals.transactionRevenue IS NOT NULL: 排除沒(méi)有銷售額的記錄，使得查詢只關(guān)注實(shí)際交易。
• GROUP BY country: 按國(guó)家分組，統(tǒng)計(jì)每個(gè)國(guó)家的總銷售額。
• ORDER BY total_revenue DESC: 按總銷售額從高到低排序，以便查看銷售額最高的國(guó)家。

3. 在Python中執(zhí)行查詢

接下來(lái)，我們將通過(guò)Python代碼在BigQuery中執(zhí)行此查詢，并提取結(jié)果以進(jìn)行進(jìn)一步分析。我們將使用Google的BigQuery Python客戶端庫(kù)來(lái)實(shí)現(xiàn)這一目標(biāo)。以下是Python代碼示例：

from google.cloud import bigquery# 創(chuàng)建BigQuery客戶端
client = bigquery.Client()# 定義查詢
query = """SELECT geoNetwork.country AS country,SUM(totals.transactionRevenue) AS total_revenueFROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801`WHERE totals.transactionRevenue IS NOT NULLGROUP BY countryORDER BY total_revenue DESCLIMIT 10;
"""# 執(zhí)行查詢
query_job = client.query(query)
results = query_job.result()# 輸出結(jié)果
for row in results:print(f"{row.country}: {row.total_revenue}")

代碼運(yùn)行結(jié)果示例：

United States: 8301950000
Finland: 2990000Process finished with exit code 0

4. 分析和解釋結(jié)果

運(yùn)行查詢后，我們可以看到每個(gè)國(guó)家的總銷售額。通過(guò)這些數(shù)據(jù)，我們可以得出一些商業(yè)見(jiàn)解：

• 識(shí)別高價(jià)值市場(chǎng)：在銷售額最高的幾個(gè)國(guó)家中，可以發(fā)現(xiàn)潛在的高收益市場(chǎng)，并優(yōu)先考慮投入資源。
• 優(yōu)化廣告投放：基于這些數(shù)據(jù)，公司可以在銷售額較高的國(guó)家增加廣告預(yù)算，從而提升整體收益。
• 區(qū)域趨勢(shì)分析：分析不同國(guó)家的消費(fèi)模式，幫助制定個(gè)性化的市場(chǎng)策略。

5. 小結(jié)

本文介紹了如何使用BigQuery和SQL進(jìn)行電商數(shù)據(jù)分析，展示了通過(guò)簡(jiǎn)單的SQL查詢、數(shù)據(jù)過(guò)濾、排序和聚合來(lái)獲取商業(yè)洞見(jiàn)的基本方法。這種分析可以應(yīng)用于更多實(shí)際場(chǎng)景，例如用戶行為分析、廣告投放效果評(píng)估等。對(duì)于數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師來(lái)說(shuō)，BigQuery是一種非常實(shí)用的工具，它讓處理大規(guī)模數(shù)據(jù)變得更為簡(jiǎn)便和高效。