請(qǐng)遵守用戶 評(píng)論公約

查看更多評(píng)論

• 

  傳統(tǒng)數(shù)倉如何轉(zhuǎn)型大數(shù)據(jù)

  數(shù)據(jù)倉庫架構(gòu)師：數(shù)據(jù)倉庫是依靠規(guī)范來有序進(jìn)行的，架構(gòu)師就是來建立這些規(guī)范的，包括數(shù)據(jù)倉庫的分層、模型命名、指標(biāo)命名、ETL任務(wù)命名...

• Flume 1.4.0 NG 分布式集群搭建

  agent.sources = source1agent.channels = memoryChannelagent.sinks = sink1# For each one of the sources, the type is definedagent.sources.source1.type = avroagent.sources.source1.bind = had...

• 

  Flume環(huán)境搭建、安裝、部署

  可以到apache基金flume官網(wǎng)http://flume.apache.org/download.html，選擇鏡像下載地址http://mirrors.hust.edu.cn/apache/flume/下載一...

• 

  Flume數(shù)據(jù)采集各種配置詳解

  在真正日志采集的過程中，根據(jù)待采集日志的類型以及存儲(chǔ)需求，選擇相應(yīng)的類型的source、channel和sink進(jìn)行配置，從而將日志采集并且保存...

• flume

  一flume的基本概念Flume是一中分布式的日志收集系統(tǒng)為什么要有日志收集上圖中日志在網(wǎng)頁上產(chǎn)生，并進(jìn)入后臺(tái)業(yè)務(wù)服務(wù)器，通常在運(yùn)用hive在處理日志數(shù)據(jù)時(shí)我們并不會(huì)直接在后臺(tái)業(yè)務(wù)服務(wù)器上直接進(jìn)行處理...

• 

  七牛是如何搞定每天500億條日志的

  出于高可用考慮，forward通常不止一個(gè)實(shí)例，這會(huì)帶來日志順序問題，Agent按一定規(guī)則（round-robin、failover等）來選擇forward實(shí)例，即...

• 

  Flume架構(gòu)以及應(yīng)用介紹

  其中 Sink：logger Channel：memory flume官網(wǎng)中NetCat Source描述：總結(jié)Exec source：Exec source和Spooling Directory Source是兩種常...

• 

  大數(shù)據(jù)平臺(tái)架構(gòu)

  大數(shù)據(jù)平臺(tái)架構(gòu)。多樣化數(shù)據(jù)采集能力：支持對(duì)表、文件、消息等多種數(shù)據(jù)的實(shí)時(shí)增量數(shù)據(jù)采集（使用flume、消息隊(duì)列、OGG等技術(shù)）和批量數(shù)...

• 工業(yè)大數(shù)據(jù)漫談10：開源工業(yè)大數(shù)據(jù)軟件簡介（下）

  SparkSQL的前身是Shark，給熟悉RDBMS但又不理解MapReduce的技術(shù)人員提供快速上手的工具，Hive應(yīng)運(yùn)而生，它是當(dāng)時(shí)唯一運(yùn)行在Hadoop上的SQL-on-Hadoop工具。Sqoop(發(fā)音：skup)是一款開源的工具，主要用于...