배경 Retrieval 수행 후 탐색한 문서에서 응답을 추출해야 한다. BERT 기반 모델을 사용하다가 이 아이를 Generation Based 기법을 사용하여 프롬프팅 하면 어떨까? 하는 생각을 했다. 팀원 중 다른 분께서 LLaMA를 튜닝해보고 싶다고 하셔서, 나는 GPT를 프롬프팅만으로 시도해보기로 했다. 프롬프트 GPT를 프롬프팅 할 수 있는...

배경 MRC 프로젝트 수행 시 질문이 입력되면 그에 해당하는 문서를 찾기 위해 Dense Embedding을 구현하고자 한다. 제공받은 데이터셋의 경우, 문서를 보고 만든 질문들이 많아 키워드를 사용하여 문서를 탐색하는 방식인 Sparse Embedding이 보다 적합하다고 하지만, 개인적인 공부를 위해, 그리고 실험해보며 직접 경험해보기 위해 Den...

MRC 개요 MRC가 무엇인지에 대한 간략한 설명은 여기 참고하기~ MRC는 크게 질문의 답을 해줄 문서를 찾는 Retriever과 문서에서 답을 찾는 Reader로 구분된다. 문서를 찾지 않고 바로 응답하는 생성형 기반도 있지만, 이건 나중에~ Passage Retriever 많은 양의 문서, 데이터가 저장되어 있는 데이터베이스로부터 질문에 응답해...

LoRA: Low-Rank Adaptation of Large Language Models citation Hu, Edward J., et al. “Lora: Low-rank adaptation of large language models.” arXiv preprint arXiv:2106.09685 (2021). 인용 횟수가 무려 6800회 ...

분명 며칠 전에 STS 프로젝트가 끝났는데.. 다시 또 시작이다. 이번에 MRC. 아자아ㅈ..🫠 MRC란? MRC는 Machine Reading Comprehension이라고 하는 기계 독해 task이다. 사람이 document을 읽고 이해하는 것처럼 AI와 같은 기계가 document를 읽고 문맥을 이해하는 task를 말한다. 이때 기계가 잘 이해...

LoRA란? Low-Rank Adaptaion으로, PEFT 기법의 일종이다. downstream task 수행을 위해 모델 전체를 tuning하는 것이 아닌, 대부분의 파라미터를 freeze하고 일부 파라미터만 tuning하는 것이다. Hugging Face는 peft라는 라이브러리를 통해 다양한 PEFT 기법을 적용할 수 있게 했는데, 그 중 Lo...

PEFT 등장 배경 LLM은 그 크기가 커질 수록 정확도가 높아진다는 연구 결과가 발표된 후 pre-trained 모델의 크기를 점점 키우는 것이 유행(?)이 되었다. 하지만 이를 downstream task에 적용하기 위해서는 fine-tuning을 해야 하는데 많은 경우 가용한 자원은 제한적이기 때문에 모든 가중치를 전부 tuning하는 것은 불가...

SBERT란? SBERT란 Sentence BERT의 줄임말로, 기본적으로 BERT의 문장 임베딩 성능을 우수하게 개선한 모델이다. BERT의 문장 임베딩 방식은 총 세 가지가 있다. [CLS] token의 출력 벡터를 문장 벡터로 간주한다. 입력 token의 모든 단어의 출력 벡터에 대해 Average Pooling을 수행한 벡터를 문장 벡...

STS란? STS란 Semantic Textual Similarity의 이니셜을 딴 이름으로, 두 문장이 주어졌을 때 의미가 얼마나 유사한지를 파악하는 task이다. label은 0-5점의 값을 가지며, 2.5점을 기준으로 0-2.4까지는 False, 2.5-5.0까지는 True값을 가진다. 해당 task는 검색 엔진 사용 시 유사한 내용을 함께 검색...

처음으로 github.io에 주간 학습 정리를 올린다. 회고록도 잘 작성해야 하는데 프로젝트가 시작되고 정신이 하나도 없어서 이번 주는 반성해야겠다…. NLP 문제 종류 NLP 문제는 출력 형태에 따라 N21, N2N, N2M의 총 세 가지 종류로 구분할 수 있다. N21 문제 감정 분석, 토픽 분석, 함의, 등 classification에 속하...