中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁(yè) > news >正文

昆明網(wǎng)站建設(shè)是什么百度seo競(jìng)價(jià)推廣是什么

昆明網(wǎng)站建設(shè)是什么,百度seo競(jìng)價(jià)推廣是什么,幫別人做網(wǎng)站多少錢(qián),做網(wǎng)站怎么連數(shù)據(jù)庫(kù)一、sparkStreaming的不足 1.基于微批,延遲高不能做到真正的實(shí)時(shí) 2.DStream基于RDD,不直接支持SQL 3.流批處理的API應(yīng)用層不統(tǒng)一,(流用的DStream-底層是RDD,批用的DF/DS/RDD) 4.不支持EventTime事件時(shí)間(一般流處理都會(huì)有兩個(gè)時(shí)間:事件發(fā)生的事件&am…

一、sparkStreaming的不足

1.基于微批,延遲高不能做到真正的實(shí)時(shí)

2.DStream基于RDD,不直接支持SQL

3.流批處理的API應(yīng)用層不統(tǒng)一,(流用的DStream-底層是RDD,批用的DF/DS/RDD)

4.不支持EventTime事件時(shí)間(一般流處理都會(huì)有兩個(gè)時(shí)間:事件發(fā)生的事件,一個(gè)是事件處理的時(shí)間)

5.數(shù)據(jù)的Exactly-Once(恰好一次語(yǔ)義)需要手動(dòng)實(shí)現(xiàn)

二、StructuredStreaming 的介紹?

1、2016年Spark2.0版本中發(fā)布

2、基于SparkSQL引擎的可擴(kuò)展、容錯(cuò)的全新的流處理引擎。

3、并不是對(duì)Spark Streaming的簡(jiǎn)單改進(jìn),而是重新開(kāi)發(fā)的全新流式引擎

準(zhǔn)實(shí)時(shí)技術(shù):來(lái)一批處理一批 實(shí)時(shí):來(lái)一條處理一條 離線:一般都是處理一些靜止的數(shù)據(jù)

三、socket+console

1、在虛擬機(jī)中下載nc
yum install -y nc2、啟動(dòng) nc -lk 9999

案例:wordcount

import osfrom pyspark.sql import SparkSession
from pyspark.sql.functions import explode
import pyspark.sql.functions as F
if __name__ == '__main__':os.environ['JAVA_HOME'] = 'E:/java-configuration/jdk-8'# 配置Hadoop的路徑,就是前面解壓的那個(gè)路徑os.environ['HADOOP_HOME'] = 'E:/applications/bigdata_config/hadoop-3.3.1/hadoop-3.3.1'# 配置base環(huán)境Python解析器的路徑os.environ['PYSPARK_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'# 配置base環(huán)境Python解析器的路徑os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'# 創(chuàng)建一個(gè)sparkSession對(duì)象spark = SparkSession.builder.appName("socketDemo").getOrCreate()socketDf = spark.readStream.format("socket") \.option("host", "bigdata01") \.option("port", 9999) \.load()# 處理# 方式一:使用dsl語(yǔ)法splitDf = socketDf.select(explode(F.split(socketDf.value, " ")).alias("word"))resultDf1 = splitDf.groupBy("word").count()# 方式二:使用sqlsocketDf.createOrReplaceTempView("wordcount")resultDf2 = spark.sql("""with t1 as( select num from wordcount lateral view explode(split(value," ")) c as num)select num,count(*) counts from t1 group by num;""")# 下面的就是sink的寫(xiě)法 后續(xù)會(huì)寫(xiě)query1 = resultDf1.writeStream \.outputMode("complete") \.format("console") \.start()query2 = resultDf2.writeStream \.outputMode("complete") \.format("console") \.start() \.awaitTermination()spark.stop()

四、file+console

文件中的數(shù)據(jù):
1;yuwen;43
1;shuxue;55
2;yuwen;77
2;shuxue;88
3;yuwen;98
3;shuxue;65
3;yingyu;88
import osfrom pyspark.sql import SparkSessionfrom pyspark.sql.types import StructField, StringType, DoubleType, LongType, IntegerType, StructTypeif __name__ == '__main__':os.environ['JAVA_HOME'] = 'E:/java-configuration/jdk-8'# 配置Hadoop的路徑,就是前面解壓的那個(gè)路徑os.environ['HADOOP_HOME'] = 'E:/applications/bigdata_config/hadoop-3.3.1/hadoop-3.3.1'# 配置base環(huán)境Python解析器的路徑os.environ['PYSPARK_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'# 配置base環(huán)境Python解析器的路徑os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'# 創(chuàng)建一個(gè)sparkSession對(duì)象spark = SparkSession.builder.appName("socketDemo").getOrCreate()# score_schema = StructType([#     StructField(name="stu_id", dataType=IntegerType(), nullable=False),#     StructField(name="subject_name", dataType=StringType(), nullable=True),#     StructField(name="score", dataType=DoubleType(), nullable=True)# ])score_schema = StructType().add("stu_id", IntegerType()).add("subject_name", StringType()).add("score",DoubleType())socketDf = spark.readStream.format("csv") \.option("sep", ";") \.schema(score_schema) \.load("../../resources/input1")socketDf.writeStream \.outputMode("append") \.format("console") \.option("truncate", False) \.start() \.awaitTermination()spark.stop()

http://www.risenshineclean.com/news/5353.html

相關(guān)文章:

  • wordpress制作主題容易嗎seo網(wǎng)站推廣排名
  • 實(shí)用電子商務(wù)網(wǎng)站建立站長(zhǎng)工具ip查詢(xún)
  • 南昌網(wǎng)站建設(shè)平臺(tái)百度信息流
  • 增值服務(wù)包含哪些產(chǎn)品seo外包公司一般費(fèi)用是多少
  • 莒縣做網(wǎng)站企業(yè)內(nèi)訓(xùn)
  • 平安建設(shè)網(wǎng)站sem培訓(xùn)班培訓(xùn)多少錢(qián)
  • 做一網(wǎng)站要什么品牌運(yùn)營(yíng)推廣方案
  • 網(wǎng)站縮放代碼無(wú)安全警告的瀏覽器
  • 萊蕪網(wǎng)站優(yōu)化平臺(tái)軟文廣告案例500字
  • 網(wǎng)站后臺(tái)統(tǒng)計(jì)代碼網(wǎng)站怎么seo關(guān)鍵詞排名優(yōu)化推廣
  • 勻貴網(wǎng)站建設(shè)seo自媒體運(yùn)營(yíng)技巧
  • 游戲開(kāi)發(fā)比網(wǎng)站開(kāi)發(fā)強(qiáng)強(qiáng)seo博客
  • 建設(shè)互聯(lián)網(wǎng)站機(jī)房需要哪些設(shè)備外包網(wǎng)絡(luò)推廣營(yíng)銷(xiāo)
  • 新問(wèn)網(wǎng)站設(shè)計(jì)發(fā)外鏈軟件
  • 不需要備案如何做網(wǎng)站汽車(chē)軟文廣告
  • 阿里云云主機(jī)做網(wǎng)站簡(jiǎn)述網(wǎng)絡(luò)營(yíng)銷(xiāo)的特點(diǎn)
  • 蘋(píng)果官網(wǎng)入口河南網(wǎng)站關(guān)鍵詞優(yōu)化代理
  • 惠州公司做網(wǎng)站營(yíng)銷(xiāo)模式和營(yíng)銷(xiāo)策略
  • 廣州網(wǎng)站開(kāi)發(fā)哪家強(qiáng)泉州百度首頁(yè)優(yōu)化
  • 網(wǎng)頁(yè)開(kāi)發(fā)的流程青島百度seo
  • 自己做的網(wǎng)站二維碼怎么做的中國(guó)百?gòu)?qiáng)縣市榜單
  • 建網(wǎng)站空間互聯(lián)網(wǎng)推廣方案
  • dw做的網(wǎng)站seo的最終是為了達(dá)到
  • 購(gòu)物網(wǎng)站建設(shè)規(guī)劃書(shū)seo網(wǎng)站診斷分析報(bào)告
  • 網(wǎng)站制作好以后怎么管理網(wǎng)站外鏈?zhǔn)鞘裁匆馑?/a>
  • 青島快速網(wǎng)站排名小程序商城制作一個(gè)需要多少錢(qián)
  • 漣源網(wǎng)站建設(shè)網(wǎng)絡(luò)推廣加盟
  • 煙臺(tái)優(yōu)化網(wǎng)站建設(shè)長(zhǎng)沙seo招聘
  • wordpress關(guān)閉自動(dòng)更新seo診斷分析在線工具
  • 外貿(mào)網(wǎng)站建設(shè)公司流程推廣產(chǎn)品的軟文