最初发表于tamiz.pro.
MongoDB汇总管道是数据库内直接处理和转换数据的有力工具。
然而,在处理大型数据集时,优化不足的管线可能成为一个重大的性能瓶颈.
这种深度潜水探索了先进的战略和最佳做法,以确保你们大规模的蒙戈DB聚合管道高效地运行,将原始数据转化为可操作的洞察力,而不会使你们的系统陷入停顿。
综合管道寿命周期索引索引的关键作用 特定工作负荷索引和覆盖查询部分索引 战略阶段顺序推进和早期杠杆化以及共同记忆管理和磁盘溢出及其影响战略 最大限度地减少磁盘溢出 精选优化器和解释计划 解释计划 压缩组合工作量的硬键设计 目标指标与广播聚合 高级优化技术 结合及其性能影响优化 节拍和增量复合生产 最佳做法 常问在跳入优化前如何理解聚合管道寿命周期的影响,这一点至关重要。
汇总管道是处理收集文件的阶段序列。
每个阶段对输入文件进行操作,并向下一阶段输出一串文件。
这种基于流的处理是其效率的关键,但也意味着一个阶段的输出会直接影响后几个阶段的性能.
MongoDB查询优化器试图为效率重排某些阶段的顺序,但并非全能.
你的战略设计选择深刻地影响了业绩。
例如,这些阶段,如果放置得正确,常常是优化的候选阶段。
索引索引的关键作用是高性能数据库运作的基石,汇总管道也不例外。
正确选择的索引可以大大减少MongoDB扫描所需的文件数量,使过滤()和排序()等操作速度惊人快。
索引和阶段 优化指数影响最大的阶段是和.
当聚合管道从一个阶段开始时,MongoDB可以使用索引来快速过滤初始文件集.
同样,如果排序键与已有索引相匹配,那么一个阶段可以从索引中受益。
考虑收集数百万份文件: 如果您经常查询订单, 并且: 使用索引将非常有益 : 这个指数既能有效支持舞台,又能有效支持舞台,因为是复合指数中的第二个字段和排序相匹配.
如果排序顺序是 , 索引仍然会被使用, 但该排序的倒序顺序是 , 这通常比前向扫描效率低, 但比没有索引要好 。
当多个字段参与或操作时,复合指数和被覆盖的查询复合指数至关重要。
ESR(Equality, Sort, Range)规则是一个很好的heuristic:用于平等匹配的字段,先是排序字段,再是范围字段.
被覆盖的查询是查询结果中返回的所有字段和查询上游(包括和)中使用的所有字段都是索引的一部分.
这意味着MongoDB可以完全从索引中完成查询,而无需访问实际文件.
这大大地减少了I/O操作,可以提供显著的性能提升.
就前一个例子而言,如果只有我们,而且我们的指数是.,那么,如果在下列情况中以及分别使用这些情况,将涵盖查询: 请注意, 这始终是任何索引中隐含的一部分, 因此,如果不是您的自定义索引的一部分, 通常需要明确投影来完成一个完全覆盖的查询 。
部分索引