为`file`汇聚器添加并发批处理

• 社区说明

<! -- 请为社区保留此附注 -- >

• 请就该问题进行表决,在最初的问题中增加一个反应,以帮助社区和维护者优先处理这一请求。
• 如果您有兴趣就这个问题开展工作,或已经提交Pull Request,请留下评论意见。 <! -- 感谢您为社区保存了本照会 -- -- "

问题

我可以看到100%的利用率 在文件槽,然后应用回压 并减慢整个管道。 我使用tmpfs,所以磁盘不是一个瓶颈,但高端分隔可能是。 似乎文件槽不是同时分批,因此快速地应用回压(特别是用gzip压缩).

QQ 配置

页:1 [sinks.out kafka access file] (英语). 类型 = “文件” #输入= ["喉咙 kafka access tenant"]. 输入 = ["remap kafka access"] 压缩 = "gzip" encoding.except fields = [''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''' encoding.codec="json" (中文(简体) ). framing.method = "新线 已限定" #. file sindix= to int (to int (now ())/ 300) (中文(简体) ). 路径 = “/var/lib/vector/s3sync/out kafka access file/topics/ topics/yyearY/month=%m/day=%d/hour=%H/${HOSTNAME}.pa2-par-gc-int-ves-io {{ file safix .json.gz” 闲置 超时 秒 = 30 缓冲.type="记忆" 缓冲.max events = 3000 # 默认 500 有内存缓冲

翻译:

0.37.0 (单位:千美元)

QQ 调试输出

无回复( N)

示例数据

无回复( N)

++ 附加上下文

无回复( N)

参考文献

无回复( N)