有人知道有多少个验证文件吗?
作者: ergang-bian创建于 2025年3月8日更新于 2025年3月20日
我执行以下命令: git clone https://huggingface.co/datasets/cerebras/SlimPajama-627B Python scripts/prepare_slimpajama.py --source_path /path/to/SlimPajama --tokenizer_path data/LLaMA --destination_path data/slim_star_combined --split validation --percentage 1.0 但只得到 257 个验证文件,我不明白是否出现了错误
内容来源: jzhang38/TinyLlama