clinicalBERT

clinicalBERT 存储库 公开可用的临床 BERT 嵌入 (NAACL Clinical NLP Workshop 2019)

biobert_pretrain_output_all_notes_150000 对应于 Bio+Clinical BERT,而biobert_pretrain_output_disch_100000 对应于 Bio+Discharge Summary BERT。这两个模型均是从 BioBERT 中微调的。我们特别使用了 BioBERT 的 BioBERT-Base v1.0 (+ PubMed 200K + PMC 270K) 版本。bert_pretrain_output_all_notes_150000 对应于 Clinical BERT,而bert_pretrain_output_disch_100000 对应于 Discharge Summary BERT。这两个模型均是从 BERT 的 cased 版本中微调的,具体来说是 cased_L-12_H-768_A-12。

重现临床 BERT

预训练

要重现在 MIMIC 数据上微调 BERT 或 BioBERT 的步骤,请按照以下步骤操作:

1. 运行 format_mimic_for_BERT.py - 请注意,您需要在文件顶部更改文件路径。
2. 运行 create_pretrain_data.sh
3. 运行 finetune_lm_tf.sh

注意: 请参阅问题 #4 了解如何改进分段代码。