15. Fluentd输入插件:in_tail用法详解

2022-11-18,,,,

in_tail输入插件内置于Fluentd中,无需安装。

它允许fluentd从文本文件尾部读取日志事件,其行为类似linux的tail -F命令(按文件名来tail)。

这几乎是最常用的一个输入插件了。

    示例配置
<source>
@type tail
path /var/log/httpd-access.log
pos_file /var/log/td-agent/httpd-access.log.pos
tag apache.access
<parse>
@type apache2
</parse>
</source>

这个示例用于tail Apache的日志。

    工作原理

    当Fluentd首次配置使用in_tail插件时,它会从path指定的日志文件尾部读取数据。

一旦日志文件被轮转重写,Fluentd则开始从新文件头部读取数据。Fluentd会持续追踪文件当前的inode编号。

当td-agent重启时,它会从重启前的位置开始读取数据,这个位置保存在pos_file指定的文件中。

    插件参数

@type(必需)插件类型,取值为tail

tag(必需,0.14.0(最低版本要求,下同))指定生成的事件的tag,取值为一个字符串。可以使用作为占位符,会将日志文件路径中的/替换为.号,

比如:

path /path/to/file
tag foo.*

上边这个配置会产生foo.path.to.file这样的tag。

path(必需,0.14.0)

指定日志文件路径,可使用逗号(,)作为分隔符指定多个路径。

路径中可包含*和strftime格式时间字符串,用以动态增删文件。

Fluentd会定期刷新监控文件列表。

path /path/to/%Y/%m/%d/*

这个示例监控时间字符串指定的目录,比如若日期为20140401,Fluentd会监控/path/to/2014/04/01路径下的所有文件。

path /path/to/a/*,/path/to/b/c.log

这个示例监控多个目录。

需要注意的是,*不能用于存在日志文件轮转的情况,这会导致日志重复。这种情况建议使用单独的in_tail配置。

path_timezone(1.8.1)若path参数中包含strftime时间字符串,可通过path_timezone设置采用的时区。in_tail默认使用系统时区,可通过如下配置来设置:

path_timezone "+00"

exclude_path(0.14.0)指定从监控文件列表中排除哪些文件,这是一个字符串数组。

path /path/to/*
exclude_path ["/path/to/*.gz", "/path/to/*.zip"]

这个示例会排除path中的gz和zip压缩文件。

refresh_interval(0.14.0)指定监控列表刷新间隔,默认为60秒。当path中包含*时生效。

limit_recently_modified(0.14.13)只监控指定修改时间范围内的文件。该参数取值为time类型的时间,且当path中包含*时生效。

skip_refresh_on_startup(0.14.13)设置程序启动时是否刷新文件列表,默认为false。不刷新,可在path中包含*时减少启动耗时。

read_from_head(0.14.0)从文件头部读取数据,默认为false。当取值true时,in_tail会在启动阶段读取文件,若文件太大会很耗时,且会阻塞其他插件的启动。

encoding, from_encoding(0.14.0)设置in_tail输出数据的编码,默认采用ASCII-8BIT编码。

read_lines_limit(0.14.0)设置每次从文件中读取的行数,默认为1000.如果在日志中发现“chunk bytes limit exceeds for an emittedevent stream”这样的错误,应该减小此参数值。

multiline_flush_interval(0.14.0)多行处理模式下的缓存输出间隔,默认不启用此配置。该参数配合format_firstline使用。

pos_file(强烈推荐配置,0.14.0)Fluentd使用pos_file保存文件读取位置。pos_file可在一个文件中保存多个位置,每个source中配置一个pos_file即可。需要注意的是,多个in_tail不能共用一个pos_file配置,这可能导致未知的行为,比如pos_file

文件损坏。

pos_file_compaction_interval(1.9.2)设置pos_file的压缩间隔,被压缩的内容包含: 已移出监控列表的文件、 无法解析的文件、 重复文件行。可在设置pos_file的情况下设置此参数。

pos_file /var/log/td-agent/tmp/access.log.pos
pos_file_compaction_interval 72h

<parse>指令(必需)用于配置解析文件内容使用的解析器。我们会在后续的文章中了解到解析器的使用。这里有一个例子:

# json
<parse>
@type json
</parse> # regexp
<parse>
@type regexp
expression ^(?<name>[^ ]*) (?<user>[^ ]*) (?<age>\d*)$
</parse>

path_key(0.14.0)可以将监控文件路径添加到生成的日志事件中,path_key用于指定事件中path的key名称。

path /path/to/access.log
path_key tailed_path

使用上边这个配置,会生成如下的日志事件:

{"tailed_path":"/path/to/access.log","k1":"v1",...,"kN":"vN"}

rotate_wait(0.14.0)文件轮转等待时间。在监控文件存在轮转的情况下,Fluentd会在监测到文件轮转时,再监控老文件一段时间,以避免数据丢失。默认的等待时间为5秒。

enable_watch_timer(0.14.0)是否启用监控定时器,默认开启一个间隔1秒的定时器,关闭后会降低CPU和IO消耗。用于解决某些系统监控不准确的问题,未来版本会禁用此功能。

enable_stat_watcher(1.0.1)是否启用额外的基于inotify的监控器。默认为true,关闭后会禁用inotify事件,仅通过定时监控器来追踪文件。

emit_unmatched_lines 是否输出无法解析的文件行信息,默认为false。

3.常见问题

3.1 当无法匹配日志时会如何处理

若emit_unmatched_lines设为true,in_tail会打印出告警信息。

比如,<parse>指定的解析器为json,而日志中包含“123,456,str,true”这样的记录,那么在fluentd运行日志中就会看到如下输出:

2018-04-19 02:23:44 +0900 [warn]: #0 pattern not match: "123,456,str,true"

3.2 in_tail为何没有开始读取日志 可能监控文件确实没有产生新的数据,试着追加一条数据看看。

3.3 in_tail输出“/path/to/file unreadable”,这是什么导致的若在运行日志中发现如下信息,可能是fluentd没有监控文件的读权限。

/path/to/file unreadable. It is excluded and would be examined next time.

3.4 如何避免监控大量文件时in_tail停止运行 可设置enable_stat_watcher为false。

15. Fluentd输入插件:in_tail用法详解的相关教程结束。

《15. Fluentd输入插件:in_tail用法详解.doc》

下载本文的Word格式文档,以方便收藏与打印。