大數(shù)據(jù)是做什么的？

• 2014年，馬云提出，“人類正從IT時代走向DT時代”。如果說IT時代是以自我控制、自我管理為主，那么到了 DT (Data Technology) 時代，則是以服務(wù)大眾、激發(fā)生產(chǎn)力為主。以互聯(lián)網(wǎng)（或者物聯(lián)網(wǎng)）、云計算、大數(shù)據(jù)和人工智能為代表的新技術(shù)革命正在滲透至各行各業(yè)，悄悄地改變著我們的生活。

• 在大數(shù)據(jù)時代，人們比以往任何時候擁有更豐富的數(shù)據(jù)資源，IDC的報告顯示：預(yù)計到2025年，全球數(shù)據(jù)總量將達(dá)175ZB（相當(dāng)于175萬億GB）， 近半數(shù)據(jù)存儲于公有云。數(shù)據(jù)作為一種新的能源，催生了很多產(chǎn)業(yè)的發(fā)展。但是如果不能對這些數(shù)據(jù)進(jìn)行有序、有結(jié)構(gòu)地分類組織和存儲，不能有效的挖掘數(shù)據(jù)的價值，那么將是一筆巨大的損失。

• 大數(shù)據(jù)發(fā)展起來的原因就是為了滿足不斷變化的業(yè)務(wù)需求，大數(shù)據(jù)就是對這些海量數(shù)據(jù)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)計算、數(shù)據(jù)服務(wù)和數(shù)據(jù)應(yīng)用，構(gòu)建一個良好的數(shù)據(jù)體系，使得數(shù)據(jù)能有序，及時，準(zhǔn)確的被人類所使用。

大數(shù)據(jù)主要有哪些職位 ？

• 大數(shù)據(jù)的崗位主要有大數(shù)據(jù)運維工程師、數(shù)據(jù)倉庫開發(fā)工程師、ETL工程師、大數(shù)據(jù)開發(fā)工程師、BI工程師、算法工程師、大數(shù)據(jù)平臺開發(fā)工程師和大數(shù)據(jù)架構(gòu)師等崗位。
  

• 下面我從崗位職責(zé)、工資待遇，發(fā)展前景、學(xué)習(xí)到什么地步能找到一個工作的方面來闡述一下各個崗位的一些基本情況。

大數(shù)據(jù)運維工程師

• 崗位職責(zé)：

  • 搭建大數(shù)據(jù)平臺，比如CDH/HDP等工具的部署。這個工作僅限于自己搭建大數(shù)據(jù)平臺的公司，如果公司購買的是阿里云，騰訊云數(shù)據(jù)中臺就省去了部署這些平臺的工作。
  • 優(yōu)化大數(shù)據(jù)平臺的配置，當(dāng)對數(shù)據(jù)處理上開發(fā)環(huán)境的時候，可能會因為數(shù)據(jù)量的龐大涌入，而導(dǎo)致數(shù)據(jù)量很難處理過來，產(chǎn)生一些配置超出閾值，造成一些大數(shù)據(jù)組件因資源不夠而退出角色。簡單來說，就是配置低了，組件卡退出了，需要修改一些配置文件，這也是大數(shù)據(jù)運維工程師的職責(zé)。
  • 由于需求的不斷增多，需要一個專業(yè)的運維團隊，對數(shù)據(jù)開發(fā)提交的腳本進(jìn)行上生產(chǎn)，還有定時任務(wù)的設(shè)置，理清任務(wù)之間的依賴關(guān)系，上線、下線和定時設(shè)置，使得大數(shù)據(jù)平臺有條不紊的運行下去。
  • 負(fù)責(zé)大數(shù)據(jù)相關(guān)集群的監(jiān)控/保健/擴容/版本升級和調(diào)優(yōu)。

• 工資待遇：

  • 應(yīng)屆生的待遇在杭州的話，7-8k左右
  • 1-3年經(jīng)驗，9—14K
  • 3-5年經(jīng)驗，15k起

• 發(fā)展前景：

  • 發(fā)展前景和所做的工作難度有一定的關(guān)聯(lián)，大數(shù)據(jù)運維入門難度較低，是一個靠攢經(jīng)驗的崗位，并且如果遇到項目上線的，加班較多，中小公司大數(shù)據(jù)運維崗還好。所有崗位沒有好壞之分，適合自己的才是最好的。

• 學(xué)到什么地步可以找到工作：

  • 首先如果對于比較成熟的阿里云數(shù)據(jù)中臺來說，只要懂得如何使用工具，熟悉操作和使用就可以了，但大部分的運維工程師招聘時的要求是熟悉hadoop、hive、zookeeper、hbase、spark、kafka，es等工具的配置和優(yōu)化。
  • 熟悉linux開發(fā)環(huán)境，會使用shell/java/python中的一門腳本語言。

數(shù)據(jù)倉庫開發(fā)工程師

• 崗位職責(zé)：

  • 熟悉數(shù)據(jù)倉庫分層架構(gòu)，模型設(shè)計，具備海量數(shù)據(jù)處理、及性能調(diào)優(yōu)
  • 熟悉開源大數(shù)據(jù)處理技術(shù)棧，對Hadoop/Spark/Hive/Flink/ClinkHouse/Druid/Hbasepresto/ES熟知和使用
  • 有較強的編程能力及開發(fā)規(guī)范意識，至少熟悉Java、scala、python等其中一門編程語言
  • 熟悉數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量系統(tǒng)、主數(shù)據(jù)管理
  • 對數(shù)據(jù)倉庫權(quán)限的劃分，數(shù)據(jù)建模及標(biāo)準(zhǔn)的限定

• 工資待遇：

  • 應(yīng)屆生一般不招，除非很優(yōu)秀，因為需要有一定數(shù)據(jù)建模經(jīng)驗
  • 1-3年經(jīng)驗，15k左右
  • 3-5年經(jīng)驗，15k起

• 發(fā)展前景：

  • 數(shù)據(jù)倉庫開發(fā)就像是在了解業(yè)務(wù)之后設(shè)計模型的職位，打個比方：來了一大批貨，你根據(jù)貨物的數(shù)量，貨物的類型，來對貨物的存儲設(shè)計可行性方案，并設(shè)計貨物之間的關(guān)聯(lián)。這是一個很有發(fā)展性的工作，如果大學(xué)實習(xí)能進(jìn)入一家公司學(xué)習(xí)這方面的知識，是一個不錯的選擇。

• 學(xué)到什么地步可以找到工作：

  • 了解Hadoop/Spark/Hive等大數(shù)據(jù)工具，熟練使用OLAP的數(shù)據(jù)建模工具如Kylin，學(xué)習(xí)數(shù)據(jù)建模，學(xué)習(xí)數(shù)據(jù)倉庫分層及權(quán)限的劃分，對元數(shù)據(jù)管理Atlas和數(shù)據(jù)質(zhì)量管理有所了解

ETL工程師

• 崗位職責(zé)：

  • 使用datax、flume、canal、kettle、sqoop和flinkx一種或多種工具，如果對于公司有數(shù)據(jù)集成平臺，只需要會使用數(shù)據(jù)集成平臺就可以了
  • 熟練掌握至少一種關(guān)系型數(shù)據(jù)庫(Oracle,MySQL,SQL Server等)，并熟練掌握SQL開發(fā)，并有SQL調(diào)優(yōu)經(jīng)驗
  • 熟悉數(shù)據(jù)倉庫的基本理論，并有參與數(shù)倉設(shè)計或建設(shè)的經(jīng)驗
  • 有較強的業(yè)務(wù)分析能力，能夠構(gòu)建正確合理的數(shù)據(jù)開發(fā)模型
  • 熟練掌握一種ETL工具，有完整ETL流程的開發(fā)及維護(hù)經(jīng)驗，對ETL開發(fā)有整體認(rèn)知
  • 熟悉hadoop,hive,spark等體系框架，了解大數(shù)據(jù)基本原理和概念

• 工資待遇：

  • 應(yīng)屆畢業(yè)生，6-9k
  • 1-3年經(jīng)驗，10-15k
  • 3-5年經(jīng)驗，15-20k

• 發(fā)展前景：

  • ETL(Extract， Transform and Load)是抽取、轉(zhuǎn)換、加載的意思，這個崗位可能是所有崗位中比較容易找到工作的，原因就是，無論一個公司，它是否有發(fā)展大數(shù)據(jù)，只要他們做系統(tǒng)，都免不了有數(shù)據(jù)采集的工作，如果公司沒有開發(fā)數(shù)據(jù)集成化平臺，就會使用一些開源的數(shù)據(jù)采集工具，比如datax、flume、canal、kettle、sqoop和flinkx，發(fā)展前景可以說適合入門大數(shù)據(jù)，之后還是要向數(shù)倉設(shè)計，數(shù)據(jù)開發(fā)等領(lǐng)域?qū)W習(xí)

• 學(xué)到什么地步可以找到工作：

  • 首先在B站上找課程，學(xué)習(xí)datax、flume、canal、kettle、sqoop和flinkx工具的使用，再把hadoop、hive、hbase、mysql、linux命令學(xué)習(xí)一下，就可以找到一個合適的工作了

大數(shù)據(jù)開發(fā)工程師

• 崗位職責(zé)：

  • 使用hivesql、sparksql和flinksql進(jìn)行離線和實時的數(shù)據(jù)開發(fā)，精通SQL語言，能夠復(fù)雜大規(guī)模sql進(jìn)行優(yōu)化。
  • 精通Java，Scala，Python語言等其中一種或者多種編程語言。
  • 熟悉Hadoop生態(tài)環(huán)境，精通以下一種或多種大數(shù)據(jù)技術(shù)，如flink、kafka、hdfs、spark、hive等。

• 工資待遇：

  • 應(yīng)屆生，8-12k
  • 1-3年，15k左右
  • 3-5年，15起

• 發(fā)展前景：

  • 有人說做大數(shù)據(jù)的朋友不就是SQLboy嗎？說的對也不對，剛開始做大數(shù)據(jù)開發(fā)的工作的時候，確實是寫各種SQL，hivesql，sparksql，flinksql。但是還是寫這些sql只是入門，之后的進(jìn)階就是學(xué)習(xí)自定義UDF函數(shù)，如何使用scala語言編寫sql，以spark DSL形式的進(jìn)行數(shù)據(jù)分析，之后就是接觸用戶畫像，推薦算法等項目，需要長時間的經(jīng)驗沉淀，有很大的發(fā)展前景。

• 學(xué)到什么地步可以找到工作：

  • 首先要熟練使用MySql的語法，學(xué)習(xí)增刪改查，關(guān)聯(lián)表，左連接，右連接，內(nèi)連接，全連接等，還有一些函數(shù)的使用
  • 第二步就是學(xué)習(xí)hadoop、hive、spark、hbase的基礎(chǔ)知識，學(xué)習(xí)hivesql、sparksql的使用。udf函數(shù)的使用。對數(shù)據(jù)倉庫、數(shù)據(jù)建模有一定的了解?；旧暇涂梢哉业焦ぷ髁?。

BI工程師

• 崗位職責(zé)：
  • 熟練使用一種至多種BI工具，如FineReport、FineBI、SuperSet、Datav等可視化軟件。
  • 熟悉數(shù)據(jù)倉庫理論，精通SQL語言及相關(guān)SQL優(yōu)化
  • 熟悉Oracle、MySQL、Hive、MPP(地圖)等其中一種或多種數(shù)據(jù)存算引警基本原理
  • 參與BI移動端和PC端需求收集分析、理解需求，將需求轉(zhuǎn)化為可視化圖表
  • 參與BI頁面可視化設(shè)計、對應(yīng)數(shù)據(jù)模型設(shè)計、相應(yīng)文檔撰寫
  • 負(fù)責(zé)BI項目的頁面可視化開發(fā)和驗證交付
  • 實現(xiàn)BI前端頁面和其它應(yīng)用系統(tǒng)集成
  • 參與定位并解決BI異常問題，參與完成業(yè)務(wù)方臨時取數(shù)需求
• 工資待遇：
  • 應(yīng)屆生，7K起
  • 1-3年經(jīng)驗，11k起
  • 3-5年經(jīng)驗，14k起
• 發(fā)展前景：
  • BI(Business Intelligence，商業(yè)智能)，又稱商業(yè)智慧或商務(wù)智能，指用現(xiàn)代數(shù)據(jù)倉庫技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)進(jìn)行數(shù)據(jù)分析以實現(xiàn)商業(yè)價值。淘寶雙十一大屏、醫(yī)院出入人次大屏、平臺PV(頁面訪問量)、平臺UV(頁面獨立IP訪客)：就是以最小粒度對訪問IP進(jìn)行去重、柱狀圖、折線圖、餅圖、地圖可視化等組件的制作。做BI的工作適合喜歡美術(shù)的朋友，看到自己完成的大屏杰作也是一種享受。有一定的發(fā)展前景。
• 學(xué)到什么地步可以找到工作：
  • 首先學(xué)習(xí)一些開源的可視化工具，FineBI，Superset，Echarts的使用，然后了解hadoop、hive組件的知識，熟悉數(shù)據(jù)倉庫理論。就差不多可以找到一份工作了。

算法工程師

• 崗位職責(zé)：

  • 鉆研算法，懂得調(diào)用基本算法的API接口，使用SparkML自己訓(xùn)練模型，達(dá)到解決業(yè)務(wù)的問題。

  • 熱愛人工智能技術(shù)，熱愛解決問題，熱愛編程，熱愛學(xué)習(xí):
    有豐富的Linux使用經(jīng)驗，熟練掌握Shell等一門以上腳本語言，熟練掌握SQL等數(shù)據(jù)庫相關(guān)查詢語言

  • 熟練使用Python語言，熟練使用至少一種其它編程語言，包括但不限于C/C++、Java、C#、Scala、Lua等

  • 熟悉常用的機器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)挖掘算法

  • 有用戶畫像、匹配推薦、異常檢測、歸因預(yù)測、主動學(xué)習(xí)、派單優(yōu)化等人工智能領(lǐng)域經(jīng)驗者優(yōu)先

  • 熟練使用主流深度學(xué)習(xí)框架，如tensorflow、pytorch等，熟練使用HIVE、Hbase、ES、Spark等大數(shù)據(jù)平臺工具以及Docker、Kubernetes等云計算平臺工具

• 工資待遇：

  • 應(yīng)屆生，8K起
  • 1-3年經(jīng)驗，20k起
  • 3-5年經(jīng)驗，25k起

• 發(fā)展前景：

  • 做算法工程師，學(xué)習(xí)難度較大，大部分公司招聘需要大廠經(jīng)驗或者高學(xué)歷，很有發(fā)展前景，不過并不適合大數(shù)據(jù)入門，可以沉下心來鉆研算法的朋友或者在大數(shù)據(jù)工作幾年，可以考慮往這方面轉(zhuǎn)，畢竟算法工程師在所有崗位中可替代性是最低的，含金量也是最高的。

• 學(xué)到什么地步可以找到工作：

  • 首先需要學(xué)習(xí)數(shù)據(jù)挖掘方面的知識，學(xué)習(xí)用戶畫像、匹配推薦等項目的知識、熟練使用HIVE、Hbase、ES、Spark等大數(shù)據(jù)平臺工具，熟練使用主流深度學(xué)習(xí)框架，如tensorflow、pytorch【我沒有從事過這方面的工作，只能靠學(xué)習(xí)經(jīng)驗和了解講述自己的見解，僅供大家參考】

大數(shù)據(jù)平臺開發(fā)工程師

• 崗位職責(zé)：
  • 主導(dǎo)高性能實時數(shù)倉平臺建設(shè)，專注于實時計算、即時計算、流式計算
  • 主導(dǎo)服務(wù)端后臺編碼工作，攻克各種分布式高并發(fā)、大容量、數(shù)據(jù)隔離、系統(tǒng)解耦等方面的技術(shù)難關(guān)
  • 確保高性能實時計算平臺系統(tǒng)穩(wěn)定性、性能和擴展性調(diào)試。
  • 優(yōu)化開源組件，對大數(shù)據(jù)組件進(jìn)行二次開發(fā)
  • 有sqoop和hive二次開發(fā)經(jīng)驗者，熟練使用etl表達(dá)式進(jìn)行數(shù)據(jù)清理
  • 計算機相關(guān)專業(yè)，3年以上工作經(jīng)驗，有數(shù)據(jù)集成、數(shù)據(jù)分析、數(shù)據(jù)研發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)治理、數(shù)據(jù)目錄等大數(shù)據(jù)平臺類工具軟件研發(fā)經(jīng)驗者
  • Java基礎(chǔ)扎實，熟悉高性能I/0、并發(fā)編程JVM原理機制，精通Spring Boot、 SpringCloud、Redis、Netty等開源框架
  • 熟悉分布式系統(tǒng)架構(gòu)設(shè)計模式，能合理應(yīng)用常用分布式技術(shù)進(jìn)行架構(gòu)設(shè)計，具備解決分布式系統(tǒng)負(fù)載均衡、一致性保障、高可用等問題的能力，有相關(guān)架構(gòu)設(shè)計經(jīng)驗者優(yōu)先
• 工資待遇：
  • 應(yīng)屆生基本不招，特別優(yōu)秀的除外
  • 1-3年經(jīng)驗，15k左右
  • 3-5年經(jīng)驗，15k起
• 發(fā)展前景：
  • 我覺得大數(shù)據(jù)可以分為倆大類，一類叫基于平臺進(jìn)行開發(fā)，比如運維、開發(fā)、BI等職位；另一類叫對大數(shù)據(jù)平臺進(jìn)行研發(fā)，對大數(shù)據(jù)平臺的開源工具進(jìn)行二次研發(fā)，集成為數(shù)據(jù)中臺，又要求擁有對java框架的知識，可以說既要熟悉大數(shù)據(jù)開源組件的特性，又要懂得平臺的搭建，是一個很有挑戰(zhàn)的職位，具有很大的發(fā)展前景。
• 學(xué)到什么地步可以找到工作：
  • 這個職位的要求比較多，如果你想做這個工具，首先你要接觸Java后臺框架的知識，如Spring Boot等知識，有一定的項目經(jīng)驗，二是做ETL的工作，懂得開源采集工具的集成，三是懂得運維的工作，熟悉各個組件的配置，對組件進(jìn)行二次研發(fā)，還要對數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全和數(shù)據(jù)治理等方面的知識有所了解，需要3年左右的工作年限才能找到一份適合的工作。

大數(shù)據(jù)架構(gòu)師

• 崗位職責(zé)：
  • 負(fù)責(zé)數(shù)據(jù)交換平臺研發(fā)、參與大數(shù)據(jù)平臺架構(gòu)選型、參與公司大數(shù)據(jù)平臺的設(shè)計和開發(fā)工作、參與公司大數(shù)據(jù)開發(fā)規(guī)范的制定工作、協(xié)調(diào)各個崗位之間的工作
  • 精通開發(fā)語言 (Scala、Python、Java、R語言)中的一種以上，熟悉大數(shù)據(jù)框架(Spark、Flink、Spark、Streaming)，熟悉大數(shù)據(jù)技術(shù)知識 (Hadoop、HDFS、HBase、Hive )
  • 熟悉數(shù)倉知識、熟悉數(shù)據(jù)中臺知識、熟悉數(shù)據(jù)庫知識 (關(guān)系型、非關(guān)系型、圖數(shù)據(jù)庫等)
• 工資待遇：
  • 應(yīng)屆生基本不招，特別優(yōu)秀的除外
  • 1-3年也基本不招，特別優(yōu)秀的除外
  • 3-5年經(jīng)驗，30K起
• 發(fā)展前景：
  • 大數(shù)據(jù)架構(gòu)師是項目流程的制定者，給運維、開發(fā)和BI等工程師分配工作，協(xié)調(diào)跟進(jìn)項目的進(jìn)度，參與公司大數(shù)據(jù)開發(fā)規(guī)范的制定工作，很有發(fā)展前景，這個崗位很吃經(jīng)驗，還需要情商，社會是一個大熔爐，并不是技術(shù)最厲害就能當(dāng)上領(lǐng)導(dǎo)，多方面發(fā)展，協(xié)調(diào)各個部門工作的能力也很重要，很鍛煉人。
• 學(xué)到什么地步可以找到工作：
  • 首先要在大數(shù)據(jù)行業(yè)摸爬滾打三年工作經(jīng)驗以上，熟悉運維、大數(shù)據(jù)開發(fā)、數(shù)倉開發(fā)、BI開發(fā)的工作，具有統(tǒng)籌領(lǐng)導(dǎo)的能力，技術(shù)很牛，可以找到一份不錯的工作。

講述一下自己的大數(shù)據(jù)學(xué)習(xí)之路

• 當(dāng)我第一次聽到大數(shù)據(jù)這個詞的時候，是在2018年的春天，在毛坦廠復(fù)讀的一個下午，班里開班會，班主任念了一篇關(guān)于大數(shù)據(jù)的文章，具體講了什么我已經(jīng)記不得了，總結(jié)起來就是大數(shù)據(jù)行業(yè)以后在社會上將會很受歡迎，這也是我對大數(shù)據(jù)最初的認(rèn)識。
• 高考結(jié)束，我順利的考上了大學(xué)，選專業(yè)的時候，請教了我的表哥，他建議我選計算機或者大數(shù)據(jù)，填報志愿的時候，我每個學(xué)校的第一第二個志愿全是計算機和大數(shù)據(jù)，自己也如愿的選上了數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，大數(shù)據(jù)專業(yè)是學(xué)校第一屆開設(shè)的專業(yè)，可能有點小白鼠的感覺，當(dāng)時學(xué)的知識就是計算機學(xué)習(xí)的知識，比如，c、java、python、數(shù)據(jù)結(jié)構(gòu)、算法分析、計算機網(wǎng)絡(luò)、操作系統(tǒng)、Hadoop等知識。
• 大學(xué)時學(xué)的知識不足以我對大數(shù)據(jù)有一個清楚的認(rèn)識，我甚至上到大二結(jié)束，我都不知道企業(yè)想要掌握什么樣的員工，我就給自己定下了一個目標(biāo)，考研究生，從大三下學(xué)期開始學(xué)習(xí)考研知識，經(jīng)歷了考研的7個月左右的學(xué)習(xí)，最后事與愿違，沒有考上，為了畢業(yè)后找工作，學(xué)習(xí)大數(shù)據(jù)，考研結(jié)束第二天，2021年12月29日，我就去培訓(xùn)班學(xué)習(xí)了，系統(tǒng)的學(xué)習(xí)了6個多月，把大數(shù)據(jù)的知識大致都學(xué)了一遍，所有的學(xué)習(xí)只能在工作中進(jìn)行檢驗，實踐是檢驗真理的唯一途徑。
• 2022年8月1日，自己找到了人生中第一份工作，職位為大數(shù)據(jù)工程師，由于入職的是一家中小公司，大數(shù)據(jù)發(fā)展才剛剛開始，在這個公司從搭建環(huán)境到設(shè)計開發(fā)，最后的BI可視化全程參與，對平臺數(shù)倉開發(fā)、BI可視化大屏、維度建模、用戶畫像、推薦算法都有所實踐，也是了解了很多，學(xué)習(xí)到了不少知識。
• 希望在未來的工作中自己能不忘初心，砥礪前行，我的夢想成為一名合格的大數(shù)據(jù)架構(gòu)師，朋友，一起加油吧！