bert的基本使用

参考https://www.jianshu.com/p/3d0bb34c488a

rasa:https://blog.csdn.net/u012526436/article/details/82911565


一个是基于MRPC(Microsoft Research Paraphrase Corpus )的句子对分类任务，一个是基于SQuAD语料的阅读理解任务。run demo分为以下几步


零。先安装环境安装
Anaconda3-2019.10-MacOSX-x86_64.pkg
conda基本使用
conda默认装在了~/opt/下

conda init zsh
conda create --name mechinelearning python=3.7

conda activate machinelearning
conda info --env
pip install --index-url https://mirrors.aliyun.com/pypi/simple/ tensorflow==1.15.0
pip install bert-serving-server
pip install bert-serving-client

一。先运行一个已有模型的例子
下载chinese_L-12_H-768_A-12

运行一个可用的模型的例子为：
服务端

bert-serving-start -model_dir chinese_L-12_H-768_A-12 -num_worker=2

客户端：client.py

from bert_serving.client import BertClient
bc = BertClient()
bc.encode(['龙猫小组真棒', '关注有惊喜', '哈哈'])

启动服务端后，运行python client.py
在服务端查看输出


############

二。尝试训练一个简单模型
1、下载数据预训练模型：uncased_L-12_H-768_A-12
官网的
BERT-Base, Uncased

2.下载语料：python3 download_glue_data.py --data_dir glue_data --tasks MRPC
3.设置环境变量

export BERT_BASE_DIR=/opt/mt/mydata/bert/uncased_L-12_H-768_A-12
export GLUE_DIR=/opt/mt/mydata/glue_data

4.下载bert源码，设置好预训练模型，语料，和输出的地址，然后运行

python run_classifier.py \
  --task_name=MRPC \
  --do_train=true \
  --do_eval=true \
  --data_dir=$GLUE_DIR/MRPC \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --max_seq_length=128 \
  --train_batch_size=32 \
  --learning_rate=2e-5 \
  --num_train_epochs=3.0 \
  --output_dir=/opt/mt/mydata/bert/mrpc_output

之后得到2.5G的模型

checkpoint                                   events.out.tfevents.1595674528.hnmtmbp.local model.ckpt-0.meta                            train.tf_record
eval                                         graph.pbtxt                                  model.ckpt-343.data-00000-of-00001
eval.tf_record                               model.ckpt-0.data-00000-of-00001             model.ckpt-343.index
eval_results.txt                             model.ckpt-0.index                           model.ckpt-343.meta