keras-bert

Keras BERT

[中文|English] BERT 的实现。可以加载官方预训练模型进行特征提取和预测。

安装

pip install keras-bert

使用方法

• 加载官方预训练模型
• 分词器
• 训练和使用
• 使用 Warmup
• 下载预训练的检查点
• 提取特征

外部链接

• Kashgari 是一个面向文本标记和文本分类的生产就绪 NLP 迁移学习框架
• Keras ALBERT

加载官方预训练模型

在 特征提取演示 中,您可以获得与官方模型 chinese_L-12_H-768_A-12 相同的提取结果。在 预测演示 中,可以对句子中的缺失词进行预测。

AdamWarmup 优化器用于加速和衰减。学习率在 warmpup_steps 步中达到 lr，在 decay_steps 步中衰减到 min_lr。提供了一个辅助函数 calc_train_steps 用于计算这两个步数：