也读LawyerLLaMA法律领域微调大模型:从训练数据模型训练到实验效果研读

开通VIP,畅享免费电子书等14项超值服

首页

好书

留言交流

下载APP

联系客服

2023.06.06中国台湾

实际上,领域微调模型,尤其是基于llama的领域微调模型中存在着诸如增量预训和垂直语料预训、微调SFT的数据准备和训练问题,关于不同阶段数据对模型的影响到底如何,这些很有趣。

因此,本工作对其进行介绍,供大家一起参考,该工作可以仔细品一下。

一、工作背景概述

先看对比效果,图1显示了在BELLE上预先训练的LLaMA和LawyerLLaMA的回答。

对于问题A,正确的答案是LawyerLLaMA提供的,即男性的法定结婚年龄是22岁,女性是20岁。显然,BELLE缺乏这种特定领域的知识,只能回答18岁,也就是具有完全民事行为能力的年龄。

BELLE的糟糕表现表明在一般领域预先训练的LLM不能直接应用于解决法律问题。

1.传达准确/精确的意思,没有歧义。在法律领域,仅仅替换一个词就可以影响法律关系和义务的建立,有可能导致巨大的不同后果。例如,定金和订金在中文中只有一个字的差别,但它们在合同法中的含义和法律效力却完全不同。

2.理解和区分法律术语。有许多概念只出现在法律领域,如法人(juridicalperson)。即使是广泛使用的词汇,其含义在法律领域也可能略有不同。例如,妻子这个词在日常生活中不一定意味着法律上承认和保护的婚姻关系,但在特定的法律领域,当提到妻子时,它肯定意味着合法的婚姻关系。

3.能够分析实际案例。现实世界的情景总是复杂多样的。模型需要具备识别法律术语和应用法律理论来分析具体问题的能力。

为了建立一个能够正确应用法律知识、解决法律领域实际问题的模型,该工作根据LLaMA模型,采取了以下四个步骤:

1、注入法律知识:收集大量的法律领域的原始文本,如法律条文、司法解释和中国人民法院的司法文件。然后,应用继续训练来帮助模型学习法律知识。

二、先看数据情况

1、预训练语料库

为了提高模型在中文法律咨询中的表现,该工作采用了两种语料对LLaMA模型进行持续预训练。

首先在一个普通的多语言语料库上训练模型,以提高其代表中文的能力。然后,使用一个中文法律语料库,用法律知识来增强模型。其中:

1)多语言通用语料库MultilingualGeneralCorpus

由于LLaMA主要是在英语和其他使用拉丁字母或西里尔字母的语言语料库上进行预训练的,因此它在理解和生成中文句子方面的表现可能并不完美。

为了解决这个问题,同时收集中文预训练语料和也收集英文语料库进行记忆重放,以避免灾难性的遗忘。

2)中文法律语料库ChineseLegalCorpus

2、国家司法考试

国家司法考试是一种闭卷考试,申请人必须通过考试才能获得律师或法官资格,是对对法律从业人员的法律知识和专业技能的全面评估,因此,模型可以通过对这类考试的问题进行练习来学习法律技能。

具体的,该工作使用JEC-QA,JEC-QA包括26,365道选择题和多选题,但不包含任何对答题者的解释。

为了提供更详细的证据和如何解决这些问题的推理程序,该工作要求ChatGPT为每个答案提供解释。

Response:根据《中华人民共和国刑法》规定,醉酒后驾驶机动车辆,发生重大交通事故,构成交通肇事罪。丁酒后驾驶发生交通事故,已经构成交通肇事罪。但是,丁继续驾车到处冲撞,造成五死九伤,已经超出了交通肇事罪的范畴,应当认定为危害公共安全罪。因此,丁应当被定罪为危害公共安全罪,而不是交通肇事罪。

3、法律咨询技能微调数据

该工作从法律咨询的开源数据集中抽取种子问题(Chen,2018),并使用ChatGPT来生成回复,由此构造SFT数据集。

1)单轮问答数据的构造

为了生成对法律咨询问题的回应,要求ChatGPT扮演律师并回应客户。并在输入提示中,注入生成的回答应该满足的六个要求:

(1)正确引用法律条文;

(2)根据案件事实和法律条文给出有根据的分析;

(3)全面回答并分析潜在的可能性;

(4)提出适当的问题来挖掘事实以帮助进一步回答;

(5)使用平实的语言;

(6)给出初步法律意见和咨询结论。

举例如下:ChatGPT对一个关于法定结婚年龄的问题产生了一个回答,引用了《中华人民共和国婚姻法》中的一篇法律条文,并指出了几种特殊情况。Question:我和我对象想结婚,我想问一下,结婚的法定婚龄是几岁啊

Response:根据《中华人民共和国婚姻法》规定,男女结婚的法定婚龄为男满22周岁,女满20周岁。未达到法定婚龄的人不得结婚。但有特殊情况的可以提前结婚,需要得到父母或者监护人的书面同意,并经当地婚姻登记机关审查批准。

2)多轮对话数据的构造

为了生成法律咨询问题的多轮对话,该工作设计了两个不同的提示,要求ChatGPT分别扮演客户和律师的角色,并交替使用这两个提示,连同对话历史,作为ChatGPT的输入。

如下所示,客户在律师的第一次回答后提出了一个关于婚姻程序的后续问题。Client:我和我对象想结婚,我想问一下,结婚的法定婚龄是几岁啊

Lawyer:根据中华人民共和国婚姻法,男女都要满22周岁才可以结婚,不足22周岁的男女不得自行结婚。但是,如果特殊情况需要提前结婚,可以向婚姻登记机关提出申请审核。如果您有其他方面的疑问,也可以告诉我,我可以帮助您进行解答。如果您有其他方面的疑问,也可以告诉我,我可以帮助您进行解答。

Client:我知道,听别人说婚姻需要提前办理一些手续,那我需要准备哪些证件和资料呢是否需要提前办理健康检查和体检

Lawyer:是的,婚姻登记需要您准备一些证件和资料,包括:...

3)加入外部知识进行检索增强

Client:我和我对象想结婚,我想问一下,结婚的法定婚龄是几岁啊

Laywer:根据《民法典》第一千零四十七条规定,结婚的法定婚龄为男不得早于22周岁,女不得早于20周岁。如果未到法定结婚年龄而坚持结婚,将被认定为无效婚姻。请问您和您的对象的年龄是否已达到法定婚龄如果未达到,建议您等待至法定婚龄再考虑结婚的问题。

Client:我们都满足法定结婚年龄了,但是我们的家长反对,他们说我们还太年轻,不应该急于结婚,你怎么看

最后,总共收集了大约16,000个单轮数据和5,000个有2或3轮的对话。

下面是github具体开放的数据例子:

三、再看模型训练过程

下图3说明了微调开源模型LLaMA的步骤,比较有意思,从S1逐步走到S12。

1、提高LLaMA的中文能力s0->S1

由于LLaMA在训练过程中使用的中文文本很少,最初的任务是提高LLaMA对中文的理解能力(图3-s1)。

为了提高LLaMA的中文理解和生成能力,在中文通用语料库上对LLaMA进行了持续的预训练。

里面的论述很有趣,遇到2个问题:

问题1:许多汉字没有被包含在LLaMA的词汇表中。实际上,只有700个汉字被包括在内,而且LLaMA使用字节来对UTF-8编码中的其他汉字进行解构。为了提高中文句子的解码效率,Cui等人通过增加常见的汉字来扩大词汇量,并对这些新增加的单词嵌入和模型参数进行重新训练。

然而之前的研究表明,扩大词汇量似乎并没有为下游的中文NLU任务带来进一步的改善。

因此,我们选择在训练期间保持LLaMA的词汇量不变。

问题2:是否应该只在中文语料库上继续进行预训练,还是也应该加入英文文本。

该工作决定使用英文和中文的混合语料,因为该工作相信许多复杂的推理能力可能来自于英文的预训练,并希望模型在持续的预训练中保持这些能力。

2、注入法律知识S4

3、学习推理技能S7

解决实际问题需要模型具有法律领域的推理能力,通过案例分析等下游任务教模型使用这些知识来解决实际问题,从下游任务中选择有监督的数据,并按照指令-调整的方法训练我们的模型。

在这一步,使用从JEC-QA中收集关于区分术语和案例分析的问题-答案对,并要求ChatGPT为它们提供详细的解释。在训练过程中,QA对被视为指令,我们的模型被要求给出解释。

4、学习真实回复技能S9

收集一组真实世界用户与律师协商的数据,并通过ChatGPT获得相应的回复。然后,使用收集到的监督数据来训练模型为特定查询生成合适的回复。

5、提高模型反应的可靠性S12

如图3-S12所示,为了进一步提高模型反应的可靠性,引入了一个法律条文检索模块,使模型能够产生可信回复。

这里有个比较有趣的结论:

四、再看实验效果及结论

改工作评估lawyer-LLaMA在不同的训练阶段的zeroshot表现,收集了不同领域的英文和中文通用任务,包括自然语言推理、情感分析、常识推理、对话问题回答等。

1、对一般任务的评估

先看在不同的语料库或不同的监督-微调数据集上持续训练LLaMA时,它解决一般NLP任务的能力如何变化。

例如,我们可以研究在不断对中文语料进行预训练之后,英语推理任务的模型性能是否会恶化。

首先,比较s0和s1的结果,可以发现LLaMA在C3上获得了+5.3%的准确率;英语常识推理方面,s1在SciQ和PIQA的时的表现也不比s0差。这表明对多语种语料库的预训练可以增强模型对中文的表达能力,而不会牺牲其对英文的表达能力。

其次,比较s2和s3,s7和s9/s8/s6的CMNLI的结果,可以发现s3/s9/s8/s6的模型,经过司法考试的例子和法律咨询的微调,可以更好地处理中文NLI任务,准确率提高到+9.3%。

最后,该模型不能处理英语NLI和情感分析任务。在所有阶段,该模型只能对所有的MRPC实例输出Yes,而当不断地训练LLaMA时,它对SST-2也不能获得明显的改善,猜测这是因为没有足够的英语NLI和情感分析的SFT例子。那么该模型就不能理解这种任务的提示中的指令。

2、对中国法律任务的评估

具体的,创建了基于中国司法考试(JE)客观题的多项选择任务。对于司法考试的每一个问题,都有四个由人写的选项,其中一至四个选项可以是正确答案。

进一步的,这些问题可以分为两部分:JE-C(概念辨析)和JE-S(情景规划),分别记为JE-C和JE-S。

由于中国法律语料库和法律咨询数据集主要集中在婚姻法上,所以也考察了LLaMA律师在每个训练阶段解决有关婚姻法任务的能力。在这项工作中,从中国法院的网站上收集判决书,并设计了分类任务:预测婚姻的原因。

在数据集构造上,为了减少噪音,只选择民事一审的判决书,总共收集了4,875份关于婚姻的判决书来构建一个4类任务(CAM),以及10K份关于财产的判决书来构建一个10类任务(CAP)。

从表1中关于每个中文法律任务的结果来看,可以看到:

首先,与s0相比,在中国法律语料库上持续的预训练可以为s4的模型带来超过+21.6%的CAM准确率,这表明该模型可以从中文法律语料库中学习有关婚姻的知识。

其次,与s0相比,在s1阶段,在对多语种通用语料库进行训练后,模型在CAM和CAP上的表现明显恶化。

尽管C3的结果表明,模型在s1时比s0时能更好地表示中文文本,但它仍然失去了理解判断文档的能力(这里指的是分类能力)。这里猜测LLaMA的预训练语料库可能包含一部分法律文本,然后原始的LLaMA可以处理如CAM和CAP的简单法律分类任务,但是多语言通用语料库中的文本主要是新闻和维基百科的网页,与法律文本属于不同的领域,这就是个典型的遗忘问题。

最后,比较JE-C和JE-S在s0/s4/s7的结果,发现用中文法律文本和一般的SFT例子训练LLaMA可以给JE-C带来超过+3.9%的准确性,给JE-S带来+2.85%的准确性。这表明该模型在注入法律知识后可以更好地处理司法考试等法律任务。不过,当该模型以对话的形式在SFT数据上进行训练时,它似乎无法解决司法考试,这可能是由于考试问题和咨询问题之间的不相似性,这似乎表明了下游任务数据和原数据需要尽可能保持一致,才能有实际效果。

总结

本文主要介绍了《LawyerLLaMATechnicalReport》这一工作,其最核心的结论在于,通过加入检索模块,可以提升问答的可靠性,并且通过引入垂直领域的预巡数据和微调数据,都可以提升其领域性能。但在具体实践中,还需要考虑到领域数据和通用数据的组成情况,以及与下游任务之间的对齐情况。

THE END
1.法律咨询设计图片免费下载法律咨询设计素材法律咨询设计模板千图网为您找到77张法律咨询设计相关素材,千图网还提供法律咨询设计图片,法律咨询设计素材, 法律咨询设计模板等免费下载服务,千图网是国内专业创意营销服务交易平台,一站式解决企业营销数字化、协同化,实现营销转化效果增长!https://www.58pic.com/tupian/falvzixunsheji.html
2.法律咨询素材法律咨询图片法律咨询素材图片下载觅知网为您找到260个原创法律咨询素材图片,包括法律咨询图片,法律咨询素材,法律咨询海报,法律咨询背景,法律咨询模板源文件下载服务,包含PSD、PNG、JPG、AI、CDR等格式素材,更多关于法律咨询素材、图片、海报、背景、插画、配图、矢量、UI、PS、免抠,模板、艺术字、Phttps://m.51miz.com/so-sucai/1587452.html
3.法律咨询设计图片图标专题模板法律咨询设计图片图标图片素材下载我图网法律咨询设计图片图标专题为您整理了14592个原创高质量法律咨询设计图片图标图片素材供您在线下载,PSD/JPG/PNG格式法律咨询设计图片图标模板下载、高清法律咨询设计图片图标图片大全等,下载图片素材就上我图网。https://so.ooopic.com/sousuo/561541/
4.法律咨询业务宣传海报图片设计模板法律咨询业务宣传海报模板在线设计制作,还有更多手机海报的设计模板免费设计下载使用,简单好用的作图神器。http://sc.chinaz.com/tuku/157087.html
5.法律咨询海报素材网站图片免费下载法律咨询海报 法律咨询海报设计 4 小杨三板斧 全国律师咨询日海报 147 分享使人进步 全国律师咨询日海报 1 分享使人进步 全国律师咨询日海报 31 分享使人进步 全国律师咨询日海报 49 分享使人进步 法律援助法律咨询律所文化墙设计 12 设图66 律优优法律咨询app 4 清风ins 易上手法律咨询原型,让小白也能懂法用法https://www.zcool.com.cn/tag/ZMzQzMDk1Mg==.html
6.法律咨询标志图片免费下载法律咨询标志素材法律咨询标志模板法律咨询标志律师事务所工作人员公示栏 下载 法律咨询标志律师事务所工作人员公示栏 下载 法律咨询标志法律LOGO设计 下载 法律咨询标志免费矢量学校警示牌 下载 法律咨询标志法律主题图标 下载 法律咨询标志法律主题图标 下载 法律咨询标志法律小图标 下载 法律咨询标志12348标志 https://www.photophoto.cn/tupian/falvzixunbiaozhi.html
7.用做背景图的之前压根不知道违法吗免费法律咨询关于我用了里面有国家领导人的图 是违反了那条法规啊 是私人用做背景图的 之前压根不知道 - -违法吗的律师回答 未到所面谈,律师回答仅供参考 咨询我 正义先锋律师团 帮助人数:51690 好评率:97.40% 响应时间:5-10分钟内 【法律意见】依现行法律法规的规定,对此并无明确的限制性规定,但国家领导人不仅https://www.66law.cn/question/11915140.aspx
8.以游戏画面为背景图是否侵权游戏产品侵权应该保持好相关证据,向法院进行起诉处理。法律依据:根据《中华人民共和国刑法》第二百一十七https://www.lawtime.cn/ask/question_33001223.html
9.请问用国家领导人做微信背景图违法吗?法律咨询中心 发布问题 法律法规 法律知识 全部咨询其他 请问用国家领导人做微信背景图违法吗? 请问用国家领导人做微信背景图违法吗? 请问用国家领导人做微信背景图违法吗?问题状态:已过期提问人:ask202……(天津)提问时间:2020-03-19 22:02已有1位律师回答了该问题http://m.110.com/question/15049109.html
10.律师背景图片律师背景素材图片大全高清图片 律师公证人律师签字法律文件用优 高清图片 具有法律概念背景的律师事务 高清图片 透明背景的矢量日光透明背景的太阳束或光 下一页 问题及建议图片 汉服婚纱照图片 兴趣专题: 人物律师图片 个人律师图片 科技律师图片 律师素材背景图片 城市律师图片 律师封面图片 律师插画图片 背景图律师沉稳图片 今日https://699pic.com/image/1407533.html
11.ssm法律咨询小程序u8f5e独家源码应对计算机毕业设计困难的解决方案本文介绍了一个法律咨询小程序的开发背景和意义,旨在提供法律知识和便捷在线咨询。项目采用Vue前端、Java后端和SSM框架,结合MySQL数据库,实现用户与律师的高效互动,提供个性化法律服务。 摘要由CSDN通过智能技术生成 本项目包含程序+源码+数据库+LW+调试部署环境,文末可获取一份本项目的java源码和数据库参考。 https://blog.csdn.net/ass1011/article/details/132030941
12.法律知识普及直播间动态绿幕背景设计案例#法律知识普及#直播间法律知识普及直播间动态绿幕背景设计案例#法律知识普及 #直播间动态背景 #绿幕直播 #律师咨询 #直播间装修效果图 - 直播间搭建背景图设计于20240313发布在抖音,已经收获了4312个喜欢,来抖音,记录美好生活!https://www.douyin.com/video/7345654945091177769
13.律师图片背景素材图片律师图片背景图片下载全国律师咨询日PSD素材 PSDJPG 商务白领握手背景 JPG 全国律师咨询日背景模板 PSDJPG 商务白领握手背景 JPG 全国律师咨询日宣传海报 PSDJPG 办公室中的公正守护者 EPSJPG 律师咨询法制宣传手机海报 PSDJPG 律师咨询法律公正手机海报 PSDJPG 律师咨询忠于宪法手机海报 https://www.51yuansu.com/soback/lvshitupian.html
14.和单位签了背景调查授权,单位去核查真实性吗?法律依据:《最高人民法院关于公布失信被执行人名单信息的若干规定》 第一条 被执行人未履行生效法律文书https://www.64365.com/ask/8740432.aspx
15.信雅达:发行股份及支付现金购买资产并募集配套资金暨关联交易报告等有关法律、法规的要求,真实、准确、及时、完整、公平的向投资者披露有可 能影响公司股票价格的重大信息,供投资者做出投资判断。 27 信雅达发行股份及支付现金购买资产并募集配套资金暨关联交易报告书(草案)(修订稿) 第一节 交易概况 一、本次交易的背景 (一)金融改革创造金融 IT 行业新的繁荣 2013 年以来,国家https://stock.stockstar.com/notice/JC2015060200003529_18.shtml
16.荆州市大学生法律服务团:“法宝”送千家,情系你我他由荆州市大学生法律服务团发起并负责管理。通过深入农村,以家访的形式向农户一对一进行调查,向村民发放与农民生活息息相关的法律条文宣传册,在村委会的帮助下在村民聚居的地方设置咨询点等形式了解村民生活中遇到的法律问题。在长江大学法学专业学生中招募法律援助小组,针对村民在日常生活中遇到的法律难题开展法律援助。http://www.zgzyz.org.cn/content/2012-10/26/content_7217747.htm
17.法律背景图图怪兽法律背景图专题为您精选法律背景图模板,包含法律背景图的图片素材等可根据您的需求选择,不同图片尺寸进行在线替换文字制作,即可一键生成一张正版可商用模板图片免费下载。https://m.818ps.com/shejiimg/113055.html
18.中国科学技术协会直属单位2017年度招聘应届高校毕业生职位表1 公共政策、公共管理、管理科学与工程等相关专业 研究生 硕士及以上 具有理工科及海外留学背景、参与过重要决策咨询报告的撰写工作者优先考虑。中共党员。 京外 创新人才研究所 采集工程项目研究员 1.以科技人物为中心的学术研究及其传播工作; 2.科技人物数据库的研究与开发; 3.起草有关报告、总结等材料; 4.http://www.sdsgwy.com/article/html/661388.html
19.志愿者活动策划方案范文(精选20篇)(5)其他一些社区志愿者活动,如扶贫帮困、法律咨询、纠纷调解等。 四、活动要求 1、加强领导,精心组织。按照“政府引导,社区组织,依托居民”的指导思想,加强对社区志愿者服务活动的领导,社区副书记、主任王金中负总责,委员张志峰负责志愿者队伍的组织、实施工作,积极组织开展社区志愿者服务活动,把成立社区志愿者服务组https://www.yuwenmi.com/fanwen/huodongfangan/3154738.html
20.学雷锋志愿活动方案(精选23篇)(四)开展法律咨询志愿服务 组织青年之声律师专家团队走进基层,开展志愿服务,面对面为群众义务解答法律问题。 (五)开展无偿献血青年志愿者行动 组织动员青年志愿开展无偿献血、捐献造血干细胞活动,走上献血车、走进献血中心,积极传递人间大爱。 (六)开展心理健康讲座志愿服务 https://www.ruiwen.com/word/xueleifengzhiyuanhuodongfangan.html
21.法律素材法律图片法律素材图片下载熊猫办公为您找到400个法律素材图片,包括法律图片,法律素材,法律背景,法律模板源文件下载服务,包含PSD、PNG、JPG、AI、CDR等多种格式的素材,更多关于法律素材、图片、背景、矢量、UI、PS、免抠,艺术字、插画、配图等设计素材模板https://www.tukuppt.com/speciall/falv2978_2.html
22.大学生活动策划方案(精选15篇)1、活动主体:校(学生)法律咨询与援助中心 2、活动形式:现场咨询 (三)权益中心“天天都是315,人人都能享权益”系列活动 1、活动主体:权益中心 2、活动形式: (1)邀请后勤集团商贸中心主任和质量监控部主任现场答疑; (2)维权知识有奖竞猜; (3)发放传单。 https://www.oh100.com/zhichang/6660993.html
23.大学生活动策划方案(15篇)1、活动主体:校(学生)法律咨询与援助中心 2、活动形式:现场咨询 (三)权益中心“天天都是315,人人都能享权益”系列活动 1、活动主体:权益中心 2、活动形式: (1)邀请后勤集团商贸中心主任和质量监控部主任现场答疑; (2)维权知识有奖竞猜; (3)发放传单。 https://www.jy135.com/huodongfangan/1416274.html
24.2020年湖北技能高考财经类技能考试大纲七、会计法律制度(约占 10 分) (一)识记内容 1.会计法律制度的概念和构成; 2.单位会计工作管理; 3.会计机构的设置; 4.会计年度和记账本位币的规定;1.能对背景企业进行 SWOT 分析; 2.能分析背景企业产品生命周期各阶段的营销策略; 3.能为背景企业设计产品品牌及包装策略; https://www.hbzkw.com/gk/kssj/110356.html