이전 글에서는 Django 프로젝트 자체와 MySQL을 연동해서 디폴트 테이블들을 생성하는 것까지 수행했다. 이번에는 사용자 정보를 저장하기 위한 User 앱을 생성하고 관련 테이블을 생성하는 법을 알아볼 것이다. App 생성 Django 프로젝트 내에 회원가입, 로그인, 마이페이지 등에 활용할 User 앱을 생성한다. python m...

MySQL 간단한 프로젝트이기 때문에 구조가 복잡하지 않고 무료로 사용이 가능한 MySQL을 사용하고자 한다. Django 프로젝트의 가상환경에 MySQL을 연결할 수 있는 Database Connector를 설치한다. pip install mysqlclient settings.py 프로젝트 생성 후 아무런 작업도 수행하지 않았다면 settings...

시작에 앞서… 갑자기 13주에서 16주로 건너뛴 것은 입원으로 인해 1주 반 정도가 떴기 때문에ㅠㅠ 생성형 AI 생성형 AI는 크게 자연어 생성, 이미지 생성 두 가지로 구분할 수 있다. 이 때 이미지와 텍스트, 비디오 등이 결합된 Multi-modal 또한 함께 생성형 모델의 한 종류가 된다. 자연어 생성: 텍스트를 입력으로 받아 적절한 출력을 ...

개요 이번 프로젝트를 위해 베이스라인 코드를 모듈화하던 중 발생한 에러이다. pickle? 텍스트가 아닌 파이썬의 객체를 저장하는 방식이다. 텍스트 데이터를 tokenize 할 때 멀티 프로세싱을 수행하면, 병렬화 해야 하는 대상들을 pickle로 만들어서 세션끼리 공유한다. 그렇게 나도 Hugging Face의 Dataset 함수 중 map을 사용...

Data-Centric 주제 분류 프로젝트 세 번째 프로젝트가 끝났다. 첫 번째는 STS, 두 번째는 RAG, 세 번째는 Data-Centric이다. 이번 프로젝트는 2주 동안 짧게 진행됐고, 개인 회고를 제출하지 않는 프로젝트였기 때문에 블로그에 개인적으로 기록하고자 한다. 코드는 여기에서 확인 프로젝트 개요 뉴스 기사 제목으로 주제 분류를 하는 ...

공부했던 내용이나 프로젝트 수행한 내용은 꾸준히 기록하는데 주간 학습 기록 폴더 안에 글이 없다. 아무래도 강의 내용과 프로젝트 내용을 체계적으로 잘 정리할 필요가 있겠다. 아무튼 이번에는 데이터 중심의 접근법에 대해서 배운다. Data-Centric이란? 어떤 task를 잘 수행하기 위해서 어떤 접근법이 먼저 떠오르는가? 나는 이븐한 모델이 가장 ...

배경 Retrieval 수행 후 탐색한 문서에서 응답을 추출해야 한다. BERT 기반 모델을 사용하다가 이 아이를 Generation Based 기법을 사용하여 프롬프팅 하면 어떨까? 하는 생각을 했다. 팀원 중 다른 분께서 LLaMA를 튜닝해보고 싶다고 하셔서, 나는 GPT를 프롬프팅만으로 시도해보기로 했다. 프롬프트 GPT를 프롬프팅 할 수 있는...

배경 MRC 프로젝트 수행 시 질문이 입력되면 그에 해당하는 문서를 찾기 위해 Dense Embedding을 구현하고자 한다. 제공받은 데이터셋의 경우, 문서를 보고 만든 질문들이 많아 키워드를 사용하여 문서를 탐색하는 방식인 Sparse Embedding이 보다 적합하다고 하지만, 개인적인 공부를 위해, 그리고 실험해보며 직접 경험해보기 위해 Den...

MRC 개요 MRC가 무엇인지에 대한 간략한 설명은 여기 참고하기~ MRC는 크게 질문의 답을 해줄 문서를 찾는 Retriever과 문서에서 답을 찾는 Reader로 구분된다. 문서를 찾지 않고 바로 응답하는 생성형 기반도 있지만, 이건 나중에~ Passage Retriever 많은 양의 문서, 데이터가 저장되어 있는 데이터베이스로부터 질문에 응답해...

LoRA: Low-Rank Adaptation of Large Language Models citation Hu, Edward J., et al. “Lora: Low-rank adaptation of large language models.” arXiv preprint arXiv:2106.09685 (2021). 인용 횟수가 무려 6800회 ...