stenographer

笔记员是一个全包捕获工具,用于将数据包缓存到磁盘中,以用于入侵检测和事件响应。 它提供了一个高性能的网卡到磁盘的数据包写入实现,可以处理随着磁盘填满而删除这些文件,并提供了快速、方便地读取特定数据包集的方法。

• 将数据包写入磁盘,速度非常快(在多核、多磁盘机器上可达 10Gbps) * 尽可能存储历史数据(管理磁盘使用情况,在流量减慢时存储更长的持续时间,然后在磁盘资源耗尽时删除最旧的数据包) * 根据分析人员的需求,从磁盘中读取非常小比例(<1%)的数据包

• 复杂的数据包处理（TCP 流重组等） * 它速度快，因为它不进行此类操作。即使我们对数据包进行极其简单的一次性处理，仅用于索引化就需要处理 ~1Gbps，这可能占用单个核心的 >75%。 * 从磁盘中读取数据进行处理也不起作用：请参阅下一个项目。

• 读取大量数据包 (> 1% 的写入数据包) * 这里的关键概念是磁盘读取与磁盘写入相竞争…您可以以 90% 的磁盘速度进行写入,但这只占了磁盘时间的一小部分(10%)。此外,我们正在写入高度连续的数据,而磁盘在快速处理此类数据方面非常出色,而通常是读取具有大量寻址的稀疏数据,而磁盘则处理得很慢。

用户通过使用非常简单的查询语言向笔记员请求数据包。 该语言是 BPF 的简单子集，包括以下原语：