나! 드디어! 맥북 샀다!!! 이렇게 빨리 살 생각이 없었는데 기존에 쓰던 노트북이 죽어가서 어쩔 수 없었음. 충전기를 꽂지 않으면 켜지지 않는단 말이다.. 단축키나 사용 환경은 많이 써봐야 아는 거라서 시간이 지나면 적응될 것이고, 환경 세팅을 차근차근 해보도록 하자. 우선 나는 파이썬을 주로 사용하고, 지금 쓰고 있는 github.io를 우선으로 ...

Serializer란? Serilizer는 쿼리셋, 모델 인스턴스와 같은 복잡한 데이터를 파이썬 데이터 타입으로 변환하여 JSON, XML로 렌더링 하기 편하게 하는 방법이다. 나는 단순한 구조로 진행할 것이기 때문에 보다 자세한 설명과 사용법은 Django REST framework 문서 참고하기! Serializer 적용하기 rest_fra...

이전 글에서는 Django 프로젝트 자체와 MySQL을 연동해서 디폴트 테이블들을 생성하는 것까지 수행했다. 이번에는 사용자 정보를 저장하기 위한 User 앱을 생성하고 관련 테이블을 생성하는 법을 알아볼 것이다. App 생성 Django 프로젝트 내에 회원가입, 로그인, 마이페이지 등에 활용할 User 앱을 생성한다. python m...

MySQL 간단한 프로젝트이기 때문에 구조가 복잡하지 않고 무료로 사용이 가능한 MySQL을 사용하고자 한다. Django 프로젝트의 가상환경에 MySQL을 연결할 수 있는 Database Connector를 설치한다. pip install mysqlclient settings.py 프로젝트 생성 후 아무런 작업도 수행하지 않았다면 settings...

시작에 앞서… 갑자기 13주에서 16주로 건너뛴 것은 입원으로 인해 1주 반 정도가 떴기 때문에ㅠㅠ 생성형 AI 생성형 AI는 크게 자연어 생성, 이미지 생성 두 가지로 구분할 수 있다. 이 때 이미지와 텍스트, 비디오 등이 결합된 Multi-modal 또한 함께 생성형 모델의 한 종류가 된다. 자연어 생성: 텍스트를 입력으로 받아 적절한 출력을 ...

개요 이번 프로젝트를 위해 베이스라인 코드를 모듈화하던 중 발생한 에러이다. pickle? 텍스트가 아닌 파이썬의 객체를 저장하는 방식이다. 텍스트 데이터를 tokenize 할 때 멀티 프로세싱을 수행하면, 병렬화 해야 하는 대상들을 pickle로 만들어서 세션끼리 공유한다. 그렇게 나도 Hugging Face의 Dataset 함수 중 map을 사용...

Data-Centric 주제 분류 프로젝트 세 번째 프로젝트가 끝났다. 첫 번째는 STS, 두 번째는 RAG, 세 번째는 Data-Centric이다. 이번 프로젝트는 2주 동안 짧게 진행됐고, 개인 회고를 제출하지 않는 프로젝트였기 때문에 블로그에 개인적으로 기록하고자 한다. 코드는 여기에서 확인 프로젝트 개요 뉴스 기사 제목으로 주제 분류를 하는 ...

공부했던 내용이나 프로젝트 수행한 내용은 꾸준히 기록하는데 주간 학습 기록 폴더 안에 글이 없다. 아무래도 강의 내용과 프로젝트 내용을 체계적으로 잘 정리할 필요가 있겠다. 아무튼 이번에는 데이터 중심의 접근법에 대해서 배운다. Data-Centric이란? 어떤 task를 잘 수행하기 위해서 어떤 접근법이 먼저 떠오르는가? 나는 이븐한 모델이 가장 ...

배경 Retrieval 수행 후 탐색한 문서에서 응답을 추출해야 한다. BERT 기반 모델을 사용하다가 이 아이를 Generation Based 기법을 사용하여 프롬프팅 하면 어떨까? 하는 생각을 했다. 팀원 중 다른 분께서 LLaMA를 튜닝해보고 싶다고 하셔서, 나는 GPT를 프롬프팅만으로 시도해보기로 했다. 프롬프트 GPT를 프롬프팅 할 수 있는...

배경 MRC 프로젝트 수행 시 질문이 입력되면 그에 해당하는 문서를 찾기 위해 Dense Embedding을 구현하고자 한다. 제공받은 데이터셋의 경우, 문서를 보고 만든 질문들이 많아 키워드를 사용하여 문서를 탐색하는 방식인 Sparse Embedding이 보다 적합하다고 하지만, 개인적인 공부를 위해, 그리고 실험해보며 직접 경험해보기 위해 Den...