如何将passage_max_len提升到8192以对BGE-M3进行微调？
作者: Rilzob创建于 2024年12月30日更新于 2026年3月19日
The GPU used is A800, and when passage_max_len=4096, per_device_train_batch_size can only be set to 2. When using the ds_stage0.json in examples, the memory usage is 62G.
内容来源: FlagOpen/FlagEmbedding