Char Ensemble Result

[jerife]

Issue #30 에서 언급한 것과 같이 Token끼리 결과를 공유하기 어렵다 판단해 각 모델마다 예측한 char값을 기반으로 average를 구한 결과를 공유하겠습니다.

ground-truth: hi i'm jaewoo

ground-truth	prediction1	prediction2	prediction1&2
0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1	0.2, 0.2, 0, 0, 0, 0, 0, 0.7, 0.7, 0.7, 0.7, 0.7, 0.7	0.1, 0.1, 0, 0, 0, 0, 0, 0.6, 0.6, 0.6, 0.3, 0.3, 0.3	0.15, 0.15, 0, 0, 0, 0, 0, 0.65, 0.65, 0.65, 0.5, 0.5, 0.5

---

결과

Model_A = QA task + Roberta base Tokenizer (LB: 0.832)
Model_B = NER task + Deberta base Tokenizer (LB: 0.861)

Model_A * 1 + Model_B * 1 = LB: 0.852
Model_A * 1 + Model_B * 1.5 = LB: 0.858
Model_A * 1 + Model_B * 2 = LB: 0.859
Model_A * 1 + Model_B * 3 = LB: 0.860

성능이 안좋은 모델과 앙상블하여 더 안좋은 결과가 나온 것일 수도 있다고 생각이 들며,
더 좋은 모델들을 앙상블해서 성능을 확인해야할 것 같다고 판단됩니다.

따라서 이번 회의때 실험하신 모델의 가중치와 코드를 공유하는 법을 한번 더 언급하고자합니다.

[Kingthegarden]

좋은 아이디어로 실험해 주셔서 감사합니다 ㅎ!