Paper - LLMLingua Series (Prompt Compression) 최근 RAG, Chain-of-Thought, In-Context Learning과 같은 프롬프팅 기법이 LLM의 응답 성능을 높이기 위해 많이 사용되고 있습니다. 하지만 위와 같은 기법들은 프롬프트의 길이를 늘리는 경향이 있습니다. 프롬프트의 길이가 길면 어떠한 문제가...

LoRA: Low-Rank Adaptation of Large Language Models Introduction 현대의 대규모 언어모델(LLM)은 뛰어난 성능을 보이지만, 특정 작업으로 파인튜닝하려면 막대한 계산 비용과 저장 공간이 필요합니다. 특히 모든 모델 파라미터를 학습해야하는 기존 방식을 비효율적일 뿐 아니라, 여러 작업을 지원하는 멀티태스...

Flash Attention: Fast and Memory-Efficient Exact Attention with IO-Awareness Background Transformer 모델은 자연어 처리와 컴퓨터 비전 분야에서 혁신을 이끌었지만, self-attention 매커니즘에서 시퀀스 길이가 길어질수록 메모리와 연산 비용이 기하급수적으로 증가하는 ...

Spatial Transformer Networks(STN) What is STN? 아래 사진은 무작위로 위치 이동, 스케일링, 회전, 왜곡된 MNIST 데이터셋을 입력 값으로 하여 STN을 적용한 것입니다. 작거나 찌그러진 특징을 검출해내어 정상 데이터 형태로 변형하는 방법 그렇다면 위와 같은 변형 방법이 왜 필요할까요? 저자들은 CNN의 ...

SK Networks AI Camp Weekly 회고 - 18주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Monthly 회고 - 4개월 차 Skillset 이번 달에는 LLM과 Vector Database, 그리고 파인 튜닝을 주로 다뤘습니다. LLM 중에서도 특히 OpenAI API를 이용하였습니다. OpenAI API를 이용한 LLM 모델 구축 구축 방법 OpenAI A...

SK Networks AI Camp Weekly 회고 - 17주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Weekly 회고 - 16주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Weekly 회고 - 15주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Weekly 회고 - 14주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Weekly 회고 - 13주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Monthly 회고 - 3개월 차 Skillset 이번 달에 주로 학습한 내용은 AWS와 LLM입니다. AWS AWS EC2 이해 및 활용 EC2 인스턴스 설정 및 관리 SSH 접속 보안 그룹 설정 EC2를 활용한 애플리케이션 배포 ...

SK Networks AI Camp Weekly 회고 - 12주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Weekly 회고 - 11주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp 알고리즘 스터디 - 3주차 알고리즘 스터디 3주차 주제는 다이나믹 프로그래밍(Dynamic Programming)입니다! 다이나믹 프로그래밍은 동적 계획법 또는 DP 라고도 얘기합니다. “그래서 다이나믹 프로그래밍이 뭔데?” 라는 대답은 아래에서 해드리도록 하겠습니다. 다이나믹 프로그래밍이란? 다이나믹 프로그래...

SK Networks AI Camp 알고리즘 스터디 - 2주차 안녕하세요 1주차 알고리즘 스터디 글 이후로 2달이 지나고 나서야 2주차 알고리즘 스터디 글을 작성하네요. 그 사이에 스터디는 계속 진행해왔는데 블로그 글을 정리할 시간이 없어서 뒤로 미루다보니 여기까지 미루게 됐습니다.. 지금부터라도 시간 날 때마다 지난 스터...

SK Networks AI Camp Weekly 회고 - 10주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Li...

SK Networks AI Camp Monthly 회고 - 2개월 차 Skillset 지난 1개월동안 학습한 기술셋은 아래와 같습니다. Scikit-learn을 이용한 머신러닝 Logistic Regression 이진 분류 문제를 해결하기 위한 회귀 모델 sklearn.linear_model....

SK Networks AI Camp Weekly 회고 - 9주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

SK Networks AI Camp Weekly 회고 - 8주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

SK Networks AI Camp Weekly 회고 - 7주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

SK Networks AI Camp Weekly 회고 - 6주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

SK Networks AI Camp Weekly 회고 - 5주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

Instrastructure 이번 글에서는 저번 회고록에서 말한 것과 같이 인프라에 대해 공부한 내용에 대해 작성하고자 합니다. 우선 인프라 관련해선 처음 작성하는 글이기 때문에, 간단히 인프라에 대해 알아보도록 하겠습니다. IT 분야에서의 인프라(Infrastructure)는 정보기술 시스템과 서비스를 구축하고 운영하기 위해 필요한 모든 물리적, ...

SK Networks AI Camp Monthly 회고 - 1개월 차 수강 동기 제가 SK네트웍스 Family AI CAMP에 지원하게 된 이유는 크게 두 가지였습니다. 첫 번째 이유는 자연어처리와 LLM을 배우고 싶다는 것이고 두 번째 이유는 그렇게해서 배우게 된 LLM과 여태까지 혼자 공부했던 컴퓨터 비전에 대한 지식을 합쳐서 ...

SK Networks AI Camp Weekly 회고 - 4주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

SK Networks AI Camp 알고리즘 스터디 - 1주차 이번 주 알고리즘 스터디에서 다룬 내용은 기초 자료구조인 스택(Stack)과 큐(Queue)입니다. 이 두 가지 자료구조는 이전에 블로그에 올려놓은 탐색 알고리즘 글의 Depth-First Search와 Breadth-Fist Search 구현에 필수적인 자료구조인만큼 다소 어렵더라도...

SK Networks AI Camp Weekly 회고 - 3주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

SK Networks AI Camp Weekly 회고 - 2주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Lik...

Search Search(탐색) 알고리즘은 주어진 데이터에서 자신이 원하는 데이터를 찾아내는 알고리즘을 말합니다. 이번 포스트에서는 대표적인 탐색 알고리즘 세 가지에 대해서 알아보고 직접 구현하여 문제를 해결해보겠습니다. DFS(깊이 우선 탐색) BFS(너비 우선 탐색) Binary Search(이진 탐색) DFS DFS(깊이 우선 탐...

SK Networks AI Camp Weekly 회고 - 1주차 포스트를 읽기 전에.. 이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다. 배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요! Liked...

블로그를 만들었다! 테스트 해보자.