目錄

一.安裝

二.導(dǎo)入

1.全量導(dǎo)入

一.MySQL導(dǎo)入HDFS

?二.MySQL導(dǎo)入Hive

?2.增量導(dǎo)入

一.過濾導(dǎo)入hdfs/hive

二.導(dǎo)出

?

---

一.安裝

1.下載地址：sqoop下載地址

2.解壓

tar -zxvf ./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../module/

3.改名和配置歸屬權(quán)限?

#改名
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
#設(shè)置歸屬用戶名和用戶組（如果是root權(quán)限登入可以無需配置）
chown -R root:root sqoop

4.配置環(huán)境變量

? vim /etc/profile

最后刷新配置：?? source /etc/profile

驗(yàn)證是否安裝好sqoop

sqoop list-databases -connect jdbc:mysql://bigdata1:3306 --username root --password 123456

二.導(dǎo)入

1.全量導(dǎo)入

一.MySQL導(dǎo)入HDFS

sqoop import                                              #導(dǎo)入
--connect jdbc:mysql://bigdata1:3306/ds_db01 \            #配置連接url地址
--username root \                                         #用戶名
--password 123456 \                                        #密碼
--delete-target-dir \                                       #如果該地址存在則刪除
--target-dir /mydata2 \                                     #hdfs目標(biāo)路徑
--fields-terminated-by '\t'   \                            #配置它的列分隔符
--table brand_info \                                        #mysql表名
--m 1                                      #配置map數(shù)為1，因?yàn)檎麄€(gè)過程中只用了map沒有reduce

?查看是否導(dǎo)入成功

?二.MySQL導(dǎo)入Hive

注意：

--hive-import 的配置項(xiàng)要在 --hive-database 之前

sqoop import   \                      #導(dǎo)入
--connect jdbc:mysql://bigdata1:3306/ds_db01 \    #url和mysql庫名
--username root \                          #用戶名
--password 123456 \                       #密碼
--table supplier_info \                    #數(shù)據(jù)庫表名
--hive-import   \                          #導(dǎo)入hive--m 1  \                                  #map并行度
--hive-database sqoop_db;                  #hive目標(biāo)數(shù)據(jù)庫

查看hive中是否導(dǎo)入成功

?2.增量導(dǎo)入

將滿足條件的數(shù)據(jù)抽取到hdfs或hive,需要用到配置參數(shù)為 --where '表達(dá)式'

一.過濾導(dǎo)入hdfs/hive

1.1原表數(shù)據(jù)：

?1.2增量導(dǎo)入命令

注意： where一般位于--table

sqoop import -connect jdbc:mysql://bigdata1:3306/gehui  \
--username root                        \
--password 123456                        \
--where "tel=999999"      \       #設(shè)置增量條件
--table user          \
--target-dir /mydata4      \
--fields-terminated-by '\t'     \ 
--m 1 

?1.3增量導(dǎo)入結(jié)果

二.導(dǎo)出

hdfs導(dǎo)出到mysql中

sqoop export \
--connect jdbc:mysql:///gehui:3306?characterEncoding=UTF-8 \
--username root \
--password 123456\
--table test1 \
--m 1  \
--export-dir /root/sort-result   #需要導(dǎo)出的目錄

--export-dir : 參數(shù)指定要從中導(dǎo)出數(shù)據(jù)的HDFS目錄。

?

?