中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁 > news >正文

網(wǎng)站優(yōu)化檢測百度網(wǎng)頁推廣怎么做

網(wǎng)站優(yōu)化檢測,百度網(wǎng)頁推廣怎么做,攝影工作室網(wǎng)站模板,怎樣做號網(wǎng)站優(yōu)化數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失的、隨時間變化的,用來支持管理人員決策的數(shù)據(jù)集合,數(shù)據(jù)倉庫中包含了粒度化的企業(yè)數(shù)據(jù)。 數(shù)據(jù)倉庫的主要特征是:主題性、集成性、非易失性、時變性。 數(shù)據(jù)倉庫的體系結(jié)構(gòu)通常包含4個層次&#xff…

數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失的、隨時間變化的,用來支持管理人員決策的數(shù)據(jù)集合,數(shù)據(jù)倉庫中包含了粒度化的企業(yè)數(shù)據(jù)。

數(shù)據(jù)倉庫的主要特征是:主題性、集成性、非易失性、時變性。

數(shù)據(jù)倉庫的體系結(jié)構(gòu)通常包含4個層次:數(shù)據(jù)源、數(shù)據(jù)存儲和管理、數(shù)據(jù)服務(wù)以及數(shù)據(jù)應(yīng)用。
在這里插入圖片描述

  • 數(shù)據(jù)源:數(shù)據(jù)倉庫的數(shù)據(jù)來源,包括外部數(shù)據(jù)、現(xiàn)有業(yè)務(wù)系統(tǒng)和文檔資料等。
  • 數(shù)據(jù)存儲和管理:為數(shù)據(jù)提供的存儲和管理,包括數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)倉庫監(jiān)視、運行與維護工具和元數(shù)據(jù)管理等。
  • 數(shù)據(jù)服務(wù):為前端工具和應(yīng)用提供數(shù)據(jù)服務(wù),包括直接從數(shù)據(jù)倉庫中獲取數(shù)據(jù)提供給前端使用,或者通過OLAP服務(wù)器為前端應(yīng)用提供更為復(fù)雜的數(shù)據(jù)服務(wù)。
  • 數(shù)據(jù)應(yīng)用:直接面向最終用戶,包括數(shù)據(jù)工具、自由報表工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具和各類應(yīng)用系統(tǒng)。

1.概述

Hive是建立在Hadoop之上的一種數(shù)倉工具。該工具的功能是將結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,基于數(shù)據(jù)庫表,提供了一種類似SQL的查詢模型(HQL),用于訪問和分析存儲在Hadoop文件中的大型數(shù)據(jù)集。
??Hive本身并不具備存儲功能,其核心是將HQL轉(zhuǎn)換為MapReduce程序,然后將程序提交到Hadoop集群中執(zhí)行。

2.數(shù)據(jù)模型

①庫
??MySQL中默認數(shù)據(jù)庫是default,用戶可以創(chuàng)建不同的database,在database下也可以創(chuàng)建不同的表。Hive也可以分為不同的數(shù)據(jù)(倉)庫,和傳統(tǒng)數(shù)據(jù)庫保持一致。在傳統(tǒng)數(shù)倉中創(chuàng)建database。默認的數(shù)據(jù)庫也是default。Hive中的庫相當(dāng)于關(guān)系數(shù)據(jù)庫中的命名空間,它的作用是將用戶和數(shù)據(jù)庫的表進行隔離。

②表
??Hive中的表所對應(yīng)的數(shù)據(jù)是存儲在HDFS中,而表相關(guān)的元數(shù)據(jù)是存儲在關(guān)系數(shù)據(jù)庫中。Hive中的表分為內(nèi)部表和外部表兩種類型,兩者的區(qū)別在于數(shù)據(jù)的訪問和刪除:
內(nèi)部表的加載數(shù)據(jù)和創(chuàng)建表的過程是分開的,在加載數(shù)據(jù)時,實際數(shù)據(jù)會被移動到數(shù)倉目錄中,之后對數(shù)據(jù)的訪問是在數(shù)倉目錄實現(xiàn)。而外部表加載數(shù)據(jù)和創(chuàng)建表是同一個過程,對數(shù)據(jù)的訪問是讀取HDFS中的數(shù)據(jù);
內(nèi)部表刪除時,因為數(shù)據(jù)移動到了數(shù)倉目錄中,因此刪除表時,表中數(shù)據(jù)和元數(shù)據(jù)會被同時刪除。外部表因為數(shù)據(jù)還在HDFS中,刪除表時并不影響數(shù)據(jù)。
創(chuàng)建表時不做任何指定,默認創(chuàng)建的就是內(nèi)部表。想要創(chuàng)建外部表,則需要使用External進行修飾

③分區(qū)
??分區(qū)是一個優(yōu)化的手段,目的是減少全表掃描,提高查詢效率。在Hive中存儲的方式就是表的主目錄文件夾下的子文件夾,子文件夾的名字表示所定義的分區(qū)列名字。
④分桶
??分桶和分區(qū)的區(qū)別在于:分桶是針對數(shù)據(jù)文件本身進行拆分,根據(jù)表中字段(例如,編號ID)的值,經(jīng)過hash計算規(guī)則,將數(shù)據(jù)文件劃分成指定的若干個小文件。分桶后,HDFS中的數(shù)據(jù)文件會變?yōu)槎鄠€小文件。分桶的優(yōu)點是優(yōu)化join查詢和方便抽樣查詢。

3.HQL的執(zhí)行
Hive在執(zhí)行一條HQL語句時,會經(jīng)過以下步驟:

  1. 語法解析:Antlr定義SQL的語法規(guī)則,完成SQL詞法,語法解析,將SQL轉(zhuǎn)化為抽象語法樹AST Tree;
  2. 語義解析:遍歷AST Tree,抽象出查詢的基本組成單元QueryBlock;
  3. 生成邏輯執(zhí)行計劃:遍歷QueryBlock,翻譯為執(zhí)行操作樹OperatorTree;
  4. 優(yōu)化邏輯執(zhí)行計劃:邏輯層優(yōu)化器進行OperatorTree變換,合并不必要的ReduceSinkOperator,減少shuffle數(shù)據(jù)量;
  5. 生成物理執(zhí)行計劃:遍歷OperatorTree,翻譯為MapReduce任務(wù);
  6. 優(yōu)化物理執(zhí)行計劃:物理層優(yōu)化器進行MapReduce任務(wù)的變換,生成最終的執(zhí)行計劃。

參考:

https://datawhalechina.github.io/juicy-bigdata/#/ch07-Hive?id=_702-%e6%95%b0%e6%8d%ae%e4%bb%93%e5%ba%93%e6%a6%82%e5%bf%b5

http://www.risenshineclean.com/news/51944.html

相關(guān)文章:

  • 三河市城鄉(xiāng)建設(shè)局網(wǎng)站淘寶指數(shù)查詢?nèi)肟?/a>
  • 百度容易收錄的網(wǎng)站黃頁引流推廣網(wǎng)站軟件免費
  • 建設(shè)局網(wǎng)站策劃書培訓(xùn)網(wǎng)站排名
  • adobe illustrator做網(wǎng)站網(wǎng)站服務(wù)器
  • 沒有公司 接單做網(wǎng)站寧波seo營銷平臺
  • wordpress 插件代碼seo教程培訓(xùn)
  • 好的高端網(wǎng)站長沙seo報價
  • 白山建設(shè)局網(wǎng)站游戲優(yōu)化軟件
  • 服務(wù)好的專業(yè)建站公司seo網(wǎng)站是什么意思
  • 北京旅游網(wǎng)站建設(shè)推推蛙貼吧優(yōu)化
  • 阿克蘇網(wǎng)站建設(shè)正在播網(wǎng)球比賽直播
  • 怎樣加盟網(wǎng)站建設(shè)鄭州有沒有厲害的seo
  • 用dw做網(wǎng)站怎么換行最新消息
  • 濰坊網(wǎng)站建設(shè)哪家好市場調(diào)研報告范文大全
  • 做冰淇淋生意網(wǎng)站企業(yè)查詢系統(tǒng)
  • 湘潭網(wǎng)站建設(shè)是什么營銷網(wǎng)站建設(shè)流程
  • 網(wǎng)站中文域名好嗎職業(yè)培訓(xùn)機構(gòu)有哪些
  • 什么網(wǎng)站可以發(fā)布信息百度推廣效果怎么樣
  • 磐石網(wǎng)站seo站外推廣方式
  • app小程序網(wǎng)站開發(fā)是什么免費建一級域名網(wǎng)站
  • 手機wordpress建站教程野狼seo團隊
  • 網(wǎng)站規(guī)劃的流程網(wǎng)絡(luò)廣告一般是怎么收費
  • c2c的盈利模式seo優(yōu)化標題 關(guān)鍵詞
  • 鄭州天梯網(wǎng)站制作青島網(wǎng)絡(luò)推廣公司哪家好
  • 網(wǎng)站關(guān)鍵詞沒被搜出來互聯(lián)網(wǎng)營銷師課程
  • 惠陽市網(wǎng)站建設(shè)論壇推廣的步驟
  • wordpress恢復(fù)舊編輯器seo自動刷外鏈工具
  • 早那么做商城網(wǎng)站營銷軟文模板
  • 關(guān)掉wordpress站點google 谷歌
  • 關(guān)于加強學(xué)校網(wǎng)站建設(shè)的通知網(wǎng)絡(luò)推廣的手段