#51·minbpe

对重复标记进行计数是不准确的吗?

作者: JohannesVod创建于 2024年2月28日更新于 2024年6月7日

我刚刚注意到,对于很多重复的标记,计数对可能会略有不准确。例如,在序列 1, 1, 1, 1 中,对 (1, 1) 会被计数 3 次,但我们只能替换它两次。这略有不准确,因为例如在序列 1, 1, 1, 1, 2, 1, 2, 1, 2 中,我们可能会选择对 (1, 1) 而不是对 (1, 2)。

内容来源: karpathy/minbpe