文章作者郵箱：yugongshiye@sina.cn              地址：廣東惠州

 ▲ 本章節(jié)目的

? 了解網(wǎng)站流量項(xiàng)目的案例概述；

? 了解網(wǎng)站流量項(xiàng)目的數(shù)據(jù)埋點(diǎn)和采集；

? 了解網(wǎng)站流量項(xiàng)目的整體架構(gòu)；

一、網(wǎng)站流量項(xiàng)目概述

1. 背景說(shuō)明

網(wǎng)站流量統(tǒng)計(jì)是改進(jìn)網(wǎng)站服務(wù)的重要手段之一，通過(guò)獲取用戶在網(wǎng)站的行為，可以分析出哪些內(nèi)容受到歡迎，哪些頁(yè)面存在問(wèn)題，從而使網(wǎng)站改進(jìn)活動(dòng)更具有針對(duì)性。

2. 統(tǒng)計(jì)指標(biāo)說(shuō)明

常用的網(wǎng)站流量統(tǒng)計(jì)指標(biāo)一般包括以下情況分析：

1. 按在線情況分析

在線情況分析分別記錄在線用戶的活動(dòng)信息，包括：來(lái)訪時(shí)間、訪客地域、來(lái)路頁(yè)面、當(dāng)前停留頁(yè)面等，這些功能對(duì)企業(yè)實(shí)時(shí)掌握自身網(wǎng)站流量有很大的幫助。

2. 按時(shí)段分析

時(shí)段分析提供網(wǎng)站任意時(shí)間內(nèi)的流量變化情況.或者某一段時(shí)間到某一段時(shí)間的流量變化，比如小時(shí)段分布，日訪問(wèn)量分布，對(duì)于企業(yè)了解用戶瀏覽網(wǎng)頁(yè)的的時(shí)間段有一個(gè)很好的分析。

3. 按來(lái)源分析

來(lái)源分析提供來(lái)路域名帶來(lái)的來(lái)訪次數(shù)、IP、獨(dú)立訪客、新訪客、新訪客瀏覽次數(shù)、站內(nèi)總瀏覽次數(shù)等數(shù)據(jù)。這個(gè)數(shù)據(jù)可以直接讓企業(yè)了解推廣成效的來(lái)路，從而分析出那些網(wǎng)站投放的廣告效果更明顯。

二、數(shù)據(jù)的埋點(diǎn)和采集

1. 概述

所謂埋點(diǎn)就是在應(yīng)用中特定的流程收集一些信息，用來(lái)跟蹤應(yīng)用使用的狀況，后續(xù)用來(lái)進(jìn)一步優(yōu)化產(chǎn)品或是提供運(yùn)營(yíng)的數(shù)據(jù)支持，即通過(guò)數(shù)據(jù)埋點(diǎn)來(lái)采集數(shù)據(jù)，比如采集：訪問(wèn)（Visits），訪客（Visitor），停留時(shí)間（Time On Site），頁(yè)面查看（Page Views，又稱為頁(yè)面瀏覽）和跳出率（Bounce Rate 又可稱為蹦失率）。

一個(gè)典型的數(shù)據(jù)平臺(tái)，對(duì)于數(shù)據(jù)的處理，是由如下的5個(gè)步驟組成的：

其中，我們?nèi)藶榈谝粋€(gè)步驟，也即數(shù)據(jù)埋點(diǎn)和采集是最基礎(chǔ)的問(wèn)題。數(shù)據(jù)采集是否豐富，采集的數(shù)據(jù)是否準(zhǔn)確，采集是否及時(shí)，都直接影響整個(gè)數(shù)據(jù)平臺(tái)的應(yīng)用的效果。

埋點(diǎn)的兩種方式：

1. 自己公司研發(fā)在產(chǎn)品中注入埋點(diǎn)代碼進(jìn)行采集。將埋點(diǎn)代碼比如寫道一個(gè)js里，然后放到某個(gè)應(yīng)用網(wǎng)站上。

2. 使用第三方統(tǒng)計(jì)工具，如友盟、百度移動(dòng)、魔方、App Annie、talking data等。

本項(xiàng)目的埋點(diǎn)實(shí)現(xiàn)：

我們是通過(guò)js代碼來(lái)實(shí)現(xiàn)埋點(diǎn)。編寫特定的js腳本，然后嵌入到需要做日志分析的web頁(yè)面上（實(shí)際是通過(guò)<script>標(biāo)簽來(lái)嵌入js文件）。

三、日志數(shù)據(jù)采集模塊說(shuō)明

1. 概述

日志收集的目的最終是把用戶對(duì)目標(biāo)網(wǎng)站的訪問(wèn)日志匯聚到HDFS文件系統(tǒng)中的特定目錄，以便提供給下一步的數(shù)據(jù)清洗模塊進(jìn)行處理。要完成這一工作，需要分為如下幾個(gè)步驟去做：

1. JS埋點(diǎn)

2. 日志服務(wù)器搭建

3. 日志收集

2. JS埋點(diǎn)

我們需要收集某個(gè)網(wǎng)頁(yè)的訪問(wèn)情況，通用的做法是在這個(gè)網(wǎng)頁(yè)上嵌入一個(gè)JS腳本，這樣當(dāng)用戶訪問(wèn)該頁(yè)面時(shí)，頁(yè)面上的JS腳本會(huì)在頁(yè)面上動(dòng)態(tài)加入一個(gè)<image/>標(biāo)簽，并且<image/>的src屬性指向日志服務(wù)器下的一個(gè)透明圖片的URL地址。

在該URL參數(shù)上會(huì)附帶一些用戶的訪問(wèn)信息（如被訪問(wèn)頁(yè)面的URL、識(shí)別用戶身份的cookie等），這樣通過(guò)分析日志服務(wù)器（一般是nginx或apache）的access日志文件就能獲取到這些信息。這個(gè)JS埋點(diǎn)的腳本可以自己編寫來(lái)實(shí)現(xiàn)，代碼片斷如下：

js主函數(shù)代碼：