是否计划提供 int8 或 fp8 向量?

最近,我对新的 halfvec 和 bit 类型进行了基准测试和召回测试,结果都非常令人印象深刻。 所有测试都是基于 https://meta.discourse.org/ 上的公共数据,测试哪些主题将被选作"相关主题"。 使用的嵌入是通过 huggingface/text-embeddings-inference 计算的 `bge-large-en-v1.5`。 我们的嵌入目前都已经使用 bfloat16 计算,因此 halfvec 可以将我们的存储成本降低一半,而不会损失任何东西。 这实际上是免费的存储减少。 在 bit 方面,一个简单的测试只是将向量替换为 bit,并仅使用带有完整扫描但无索引的 bit,虽然带来了明显的召回变化,但结果足够好,可以直接使用而无需大多数人多做考虑。 由于 bit 在我们的使用场景中表现优异,这让我有兴趣检查介于 bit 和 int8/fp8 之间的东西的表现如何。 无论如何,非常感谢新类型和对 pgvector 的持续工作。