0

QANet_dureader

QANet+DuReader中文机器阅读理解

Github repo
Main metrics

Github stars Tracking Chart

QANet_dureader

本人曾随队在mrc2018机器阅读理解比赛中获得TOP11的名次，当时使用的是BIDAF，现尝试使用QANet去尝试dureader数据集

QANet

  • 残差块: 使用了残差网络来加深网络深度
  • 自注意: Google采用了自家的multihead attention 来计算self attention
  • 强化位置信息： QANet强化了位置信息，在每个卷积块中都加入了时间序列信息，可查看layers / residual_block / add_timing_signal_ld

小小改进

加入原始位置信息(position embedding)在decoder层做Attention计算

模型

requirements

tensorflow 1.6+
jieba

语料预处理

包括生成词典，使用预训练词向量，本模型支持Chinese-Word-Vectors中预训练词向量，下载该模型词向量后在cli.py中指定即可.

python3 cli.py --prepro

训练

python3 cli.py --train [arguments]

或者直接采用封装好的bash训练

bash train.sh

使用全量数据训练

请先下载全量数据，已封装bash

bash data/download_dureader.sh

Reference

Main metrics

Overview
Name With OwnerSeanLee97/QANet_dureader
Primary LanguagePython
Program languagePython (Language Count: 2)
Platform
License:MIT License
所有者活动
Created At2018-08-15 07:09:55
Pushed At2018-10-21 06:45:10
Last Commit At2018-10-21 14:45:09
Release Count0
用户参与
Stargazers Count221
Watchers Count10
Fork Count61
Commits Count15
Has Issues Enabled
Issues Count13
Issue Open Count9
Pull Requests Count0
Pull Requests Open Count0
Pull Requests Close Count0
项目设置
Has Wiki Enabled
Is Archived
Is Fork
Is Locked
Is Mirror
Is Private