基于多头注意力机制的BM-Linear信用贷款评估模型

作者:赵雪峰; 吴德林; 吴伟伟; 王世璇; 龙森
更新时间:

信用评估模型可以提高贷款效率,缩短贷款时间。利用Py·torch的深度学习框架,结合Words的bag和Bert的多头注意机制,得到了BM线性评价模型。同时,在引入多组信用训练集的前提下,创造性地构建了参数独立训练和参数共享训练的对比实验,探索了BM-linear的优势。研究表明,BM Linear首先弱化了与信用培训集的对应关系,解决了信用模型受信用场景限制的问题,降低了重复培训模型导致的贷款效率低下。其次,忽略缺失特征,将离散特征转化为信用文本,从而减少特征处理带来的信用干扰,提高信用评估效率。最后,克服了由于词包和信用词之间的对应而导致的词向量固化问题,实现了动态的词向量处理,从而提高了评价的准确性。所提出的BM线性模型可以为信贷机构有效评估和快速贷款提供支持。