코딩일기

## 학습 목표이 튜토리얼을 완료하면 다음을 수행할 수 있습니다:- Python의 바이트코드 캐싱 시스템의 목적과 중요성 설명- `__pycache__`가 Python 모듈 로딩을 최적화하는 방식 이해- 다양한 최적화 수준과 그 사용 사례 파악- 개발 과정에서 바이트코드 캐시 관리를 위한 모범 사례 적용## 1. 바이트코드 캐싱 소개### `__pycache__`란?Python 프로젝트에서 신비로운 `__pycache__` 디렉토리를 발견한 적이 있으신가요? 이 디렉토리는 눈에 잘 띄지 않지만 Python 애플리케이션 최적화에 중요한 역할을 합니다. 그 비밀을 함께 알아보겠습니다!### 왜 중요한가요?- **속도**: 애플리케이션의 모듈 로딩 시간 단축- **효율성**: 임포트된 모듈의 처리 오버헤드 감..

나스 gitlab setting 순서 1. 도메인 구매 2. 도메인과 Cloudflare 연결 3. 공유기 포트 세팅 4. reverse proxy settings 5. gitlab docker 설치 및 실행 6. 느낀점 : 역시 docs가 짱이다.. chatgpt를 너무 맹신하면 안된다. 7. 참고한 사이트 - https://docs.gitlab.com/ee/install/docker.html#install-gitlab-using-docker-engine GitLab Docker images | GitLab GitLab product documentation. docs.gitlab.com - https://williamlam.com/2023/09/how-to-setup-private-gitlab-on-..

오늘 소개해 드릴 재미있는 AI 기술은 embedchain입니다. 실제 사용 예시 코드를 코랩으로 준비하였습니다. 또한, 배포했던 이미지도 함께 스샷으로 찍어두었으니, 다들 직접 실습해보시고, 배포까지 해보시면 좋을 거 같습니다. LLM을 사용하여 RAG(검색 증강 생성) 애플리케이션을 구축하는 방법을 알아보고자 합니다. 지금까지 RAG 애플리케이션은 AI 혁명의 가장 유용한 결과입니다. 아마 내년쯤에는 훨씬 더 큰 발전을 볼 수 있을 것입니다. 한때 prompt engineer가 대세였다면, 이제 RAG engineer가 대세가 되지 않을까 조심스럽게 추측해봅니다. RAG가 무엇인지 모르시는 분들은 아래 글을 참고해주세요. https://dajeblog.co.kr/3-%eb%85%bc%eb%ac%b8-..

오늘은 Gemini(제미나이)에 대해서 소개해드리는 시간입니다. Gemini가 무엇이고, 누가 만들었고, 어떤 기능을 할 수 있는지에 대해서 알아보도록 하겠습니다. 텍스트 뿐 아니라 음성과 이미지 등을 이해할 수 있는 멀티모달 방식의 ai로 만들져서 채팅 수준을 넘어 말하거나 들을 수 있고, 그림도 이해할 수 있습니다. 수학 문제를 풀거나 데이터를 분석하는 높은 추론 능력까지 갖추어 프로그램 코딩까지 할 수 있다고 설명하였습니다. 제미나이(Gemini)는 Ultra, Pro, Nano 3가지 모델로 구성되어 있습니다. 구글은 제미나이(Gemini) Ultra가 GPT4보다 성능이 좋다고 주장합니다. 그러나, 개발자들 사이에서는 정말 좋다고 말할 수 있는 것인가? 에 대한 논란이 붉어지고 있습니다. 왜 논..

Attention Sinks로 더 많이 소개되고 있는 논문 : Efficient Streaming Language Models with Attention Sinks(feat. text of infinite length without fine-tuning)에 대해서 오늘은 한번 알아보고자 해요. 어떤 문제를 해결하고 싶었고, 어떻게 아이디어 발견하였고, 수식과 코드까지 어떻게 연결되었는지 한 큐에 설명드릴테니 잘 따라오셔요! 기존 문제점 mit-han-lab의 영상 중 왼쪽 영상처럼 KV Cache보다 긴 문장을 생성하다보면, 모델이 튀어 이상한 문장을 생성하는 것을 발견할 수 있습니다. 원 저자는 이 문제를 논문에서 아래와 같이 말하고 있습니다. (여기서 한 가지 오해할 수 있는 사실이 엄청 긴 입력문장..

Gradient Accumulation과 GradientCheckPointing이 무엇을까요? LLM을 fine-tuning 할 때, 메모리 부족 문제는 많은 연구자와 개발자들이 직면하는 고질적인 문제 중 하나입니다. 한정된 리소스 자원으로 대규모 모델을 훈련시키는 동안 메모리 부족으로 학습이 실패하는 상황은 흔히 발생하는 문제입니다. 그러나 걱정하지 마세요! 오늘은 여러분이 겪고 있는 이러한 어려움을 극복하는 두 가지 중요한 기술을 소개하려고 합니다. Gradient Accumulation과 Gradient CheckPointing은 메모리 부족 문제를 해결하는 데 필수적인 도구입니다. 이러한 기술을 익히고 적용함으로써, LLM 학습 중 메모리 문제로 인한 실패를 더 이상 겪지 않을 수 있습니다. 이 ..

보호되어 있는 글입니다.

git release를 활용하여 대용량 데이터 파일을 주고 받을 수 있다는 사실을 알고 계셨나요? 프로젝트를 하다보면, 다른 분들에게 대용량 파일을 공유하기 위해 드라이브를 사용하여 공유하곤 합니다. 그러나, 이는 파일을 다운로드/업로드할때 매우 번거롭습니다. 어떻게 하면 서로 쉽게 주고 받을 수 있는지에 대해서 오늘은 알려드리고자 합니다. git release 데이터 저장하기 Git Release: 완벽하게 알아보기 1. Git-Release란? 2. Git-Release의 장점 3. Git-Release 생성하기 4. Git-Release 주의사항 5. 결론 Git-Release: Tag 1. 태그(Tag) 2. Semantic Versioning (SemVer) 3. Git Hooks 4. Cont..

안녕하십니까 다제입니다. 오늘은 RAG, Retrieval-augmented Knowledge-intensive Task라는 논문을 알아보도록 하겠습니다. 제목에서 알 수 있는 Knowledge-intensive Task를 해결하기 위해 검색된 내용(retrieval)을 조합(augmented)하여 생성하는 모델이다 라고 볼 수 있습니다. 해당 논문은 2021년 facebook에서 발표한 논문입니다. 이 논문을 보게 된 이유는 RAG는 facebook Blenderbot의 backbone이 되기 때문에 이를 이해하는 것이 블랜더봇에 대한 이해를 높여줄거라고 생각하여 깊게 논문을 리뷰하게 되었습니다. 이 포스팅을 이해하기 위해서는 1. ODQA(open-domain QA)와 Know-Intensive ta..

보호되어 있는 글입니다.