#48·LWM

ValueError: 运行脚本 /run_train_text.sh 时, bytes 太大

作者: liu21yd创建于 2024年2月27日更新于 2024年6月6日

#! /bin/bash export SCRIPT_DIR="$( cd -- "$( dirname -- "${BASH_SOURCE[0]}" )" &> /dev/null && pwd )" export PROJECT_DIR="$( cd -- "$( dirname -- "$SCRIPT_DIR" )" &> /dev/null && pwd )" cd $PROJECT_DIR export PYTHONPATH="$PYTHONPATH:$PROJECT_DIR" export LLAMA_TOKENIZER_PATH=/user_work_path/tokenizer.model export DATASET_PATH=/user_work_path/sample.jsonl export SEED=1025 export PROJECT_ID='lwm' export EXPERIMENT_NOTE='' export EXPERIMENT_ID='example-text-train' export OUTPUT_DIR=${PROJECT_DIR}/output export COORDINATOR_ADDRESS=localhost:12345 export NUM_PROCESSES=1 export PROCESS_ID=0 export INITIALIZE_JAX_DISTRIBUTED=true python3 -u -m lwm.train
--jax_distributed.coordinator_address ${COORDINATOR_ADDRESS}
--jax_distributed.initialize_jax_distributed ${INITIALIZE_JAX_DISTRIBUTED}
--jax_distributed.num_processes ${NUM_PROCESSES}
--jax_distributed.process_id ${PROCESS_ID}
--modality='text'
--mesh_dim='1,1,1,8'
--dtype='bf16'
--seed=${SEED}
--total_steps=10
--log_freq=1
--save_model_freq=0

内容来源: LargeWorldModel/LWM