在第一篇文章中我們是將log4j的日志輸出到了agent的日志文件當(dāng)中。配置文件如下：

[plain] view plaincopy

1. tier1.sources=source1  
2. tier1.channels=channel1  
3. tier1.sinks=sink1  
4.   
5. tier1.sources.source1.type=avro  
6. tier1.sources.source1.bind=0.0.0.0  
7. tier1.sources.source1.port=44444  
8. tier1.sources.source1.channels=channel1  
9.   
10. tier1.channels.channel1.type=memory  
11. tier1.channels.channel1.capacity=10000  
12. tier1.channels.channel1.transactionCapacity=1000  
13. tier1.channels.channel1.keep-alive=30  
14.   
15. tier1.sinks.sink1.type=logger  
16. tier1.sinks.sink1.channel=channel1  

[plain] view plaincopy

1. tier1.sources=source1  
2. tier1.channels=channel1  
3. tier1.sinks=sink1  
4.   
5. tier1.sources.source1.type=avro  
6. tier1.sources.source1.bind=0.0.0.0  
7. tier1.sources.source1.port=44444  
8. tier1.sources.source1.channels=channel1  
9.   
10. tier1.channels.channel1.type=memory  
11. tier1.channels.channel1.capacity=10000  
12. tier1.channels.channel1.transactionCapacity=1000  
13. tier1.channels.channel1.keep-alive=30  
14.   
15. tier1.sinks.sink1.type=hdfs  
16. tier1.sinks.sink1.channel=channel1  
17. tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events  
18. tier1.sinks.sink1.hdfs.fileType=DataStream  
19. tier1.sinks.sink1.hdfs.writeFormat=Text  
20. tier1.sinks.sink1.hdfs.rollInterval=0  
21. tier1.sinks.sink1.hdfs.rollSize=10240  
22. tier1.sinks.sink1.hdfs.rollCount=0  
23. tier1.sinks.sink1.hdfs.idleTimeout=60  

下面幾個(gè)roll開頭的參數(shù)都是用來控制滾動(dòng)日志輸出的，官方文檔上的說明也很詳細(xì)，我這里配置的只按文件大小來滾動(dòng)rollSize=10240,也就是10K滾動(dòng)生成一個(gè)新的文件用來接收新的EVENTS。實(shí)際中這個(gè)Size應(yīng)該更大一些，我覺得設(shè)置成HDFS的blocksize大小應(yīng)該挺合適的。

idleTimeout設(shè)置為60秒（默認(rèn)值為0），這里面的原理是這樣的，flume里面每生成一個(gè)接收文件時(shí)的命名規(guī)則如：FlumeData.1406251462179.tmp，.tmp表示這個(gè)文件正在被使用來接收EVENTS，當(dāng)滿10K之后，這個(gè)文件會(huì)被rename成FlumeData.1406251462179，把.tmp后綴去掉，但是如果你停止了應(yīng)用程序后，F(xiàn)lumeData.1406251462179.tmp還沒滿10K，按照默認(rèn)的idleTimeout設(shè)置，不會(huì)將它rename,也就是.tmp后綴一直在，造成了這個(gè)文件一直在使用當(dāng)中的一個(gè)假象，這是有問題的，我們?cè)O(shè)置idleTimeout=60，即60秒后這個(gè)文件還沒有被寫入數(shù)據(jù)，就會(huì)關(guān)閉它然后rename它去掉.tmp,以后新進(jìn)來的events，會(huì)新開一個(gè).tmp文件來接收。

我們?cè)龠\(yùn)行第一篇文章中的那個(gè)示例應(yīng)用程序，然后去path指定的目錄下面就能看到log4j輸出的日志信息了。

補(bǔ)充注意點(diǎn)（針對(duì)cm安裝的flume）：