README.md

---
license: cc-by-nc-sa-4.0
pipeline_tag: fill-mask
---
<img src ="https://pds.saramin.co.kr/company/logo/202110/15/r0zx8u_zrd4-xpn1m0_logo.JPG"  height="780" width="450">
<br/> 
<br>
<h1>Finance-KcELECTRA-v1.0</h1>
<br>
구어체의 금융 관련 질의를 데이터로 활용하여 "beomi/KcELECTRA-base"에서 이름을 착안하여 Finance-KcELECTRA-base-v1.0으로 지었습니다.
<br>
<b><h2><학습 말뭉치 구축></h2></b>
1. 네이버 신문 기사 데이터 (카드, 보험, 은행 키워드 기사 각 15만 건)
2. 일반적인 성능을 위해 한국어 위키 텍스트 말뭉치 사용 (https://ko-nlp.github.io/Korpora)
3. 자체 보유 중인 <b>구어체의</b> 금융 관련 FAQ 지식 및 금융 채팅 대화 데이터 활용

<b><h2><베이스 모델></h2></b>
"ELECTRA-Base"의 모델 사이즈를 사용하였습니다.

<b><h2><성능 비교></h2></b>


자체 제작한 2607개 분류의 약 10만개의 질의세트를 학습하여 평가 진행
<br>
테스트셋은 각 분류당 1개의 질문 2607개로 학습 시 진행한 결과는 아래와 같습니다.
<br>
Finance-KcELECTRA-base-v1
<br>
2000STEPS --   acc = 0.7909474491752972
<br>
4000STEPS --   acc = 0.9673954737245877
<br>
6000STEPS --   <b>acc = 0.984656693517453</b>
<br>

<br>
KcELECTRA-base
<br>
2000STEPS --     acc = 0.5124664365170695
<br>
4000STEPS --     acc = 0.9136939010356732
<br>
6000STEPS --     acc = 0.9612581511315689
<br>
<br>
초기 1epoch에 기존 Kc-ELECTRA에 비해서 빠르게 학습이 수행되는 것을 확인하였습니다.
<br>
이후에도 성능이 조금이나마 앞선 것을 확인할 수 있었습니다.