KG-BERT: 知识图谱完成的 BERT
存储库是从 pytorch-pretrained-BERT 修改而来,并在 Python 3.5+ 版本上进行了测试。
pip install -r requirements.txt(1) 基准知识图谱数据集位于 ./data 目录下。 (2) 每个数据集中的 entity2text.txt 或 entity2textlong.txt 文件中包含实体文本序列。 (3) 每个数据集中的 relation2text.txt 文件包含关系文本序列。
python run_bert_triple_classifier.py --task_name kg --do_train --do_eval --do_predict --data_dir ./data/WN11 --bert_model bert-base-uncased --max_seq_length 20 --train_batch_size 32 --learning_rate 5e-5 --num_train_epochs 3.0 --output_dir ./output_WN11/ --gradient_accumulation_steps 1 --eval_batch_size 512python run_bert_triple_classifier.py --task_name kg --do_train --do_eval --do_predict --data_dir ./data/FB13 --bert_model bert-base-cased --max_seq_length 200 --train_batch_size 32 --learning_rate 5e-5 --num_train_epochs 3.0 --output_dir ./output_FB13/ --gradient_accumulation_steps 1 --eval_batch_size 512python3 run_bert_relation_prediction.py --task_name kg --do_train --do_eval --do_predict --data_dir ./data/FB15K --bert_model bert-base-cased --max_seq_length 25 --train_batch_size 32 --learning_rate 5e-5 --num_train_epochs 20.0 --output_dir ./output_FB15K/ --gradient_accumulation_steps 1 --eval_batch_size 512python3 run_bert_link_prediction.py --task_name kg --do_train --do_eval --do_predict --data_dir ./data/WN18RR--bert_model bert-base-cased --max_seq_length 50 --train_batch_size 32 --learning_rate 5e-5 --num_train_epochs 5.0 --output_dir ./output_WN18RR/ --gradient_accumulation_steps 1 --eval_batch_size 5000python3 run_bert_link_prediction.py --task_name kg --do_train --do_eval --do_predict --data_dir ./data/umls --bert_model bert-base-uncased --max_seq_length 15 --train_batch_size 32 --learning_rate 5e-5 --num_tr暂无开放 Issues，或尚未同步最近议题。