SK네트웍스 Family AI 캠프 1기 15주차 회고
SK Networks AI Camp
Weekly 회고 - 15주차
포스트를 읽기 전에..
이 포스트는 SK네트웍스 Family AI 캠프를 다니면서 느낀 개인적인 생각을 정리한 포스트입니다.
배운 내용이나 스킬셋에 대한 설명은 별도로 작성하지 않았기 때문에, 그에 대한 정보는 다른 포스트를 참고해주세요!
Liked
SK네트웍스 Family AI 캠프 15주차 회고록입니다!
이번 주에 좋았던 점은 LLaMA와 OpenAI API를 직접 사용해보았다는 것입니다.
위 두가지가 LLM 모델 중에 제일 접근성이 좋다고 생각해서 한번쯤 써보고 싶었습니다.
OpenAI API의 경우엔 사용할 때마다 돈이 나간다는 것이 신경쓰여서 사용하지 않았었고 LLaMA는 사용법을 잘 몰라서 사용하지 못했었습니다.
그런데 캠프에서 OpenAI API를 사용할 수 있는 일정 금액을 지원해준다는 말을 들어서 잔고 충전 이후 사용해볼 수 있었습니다!
그리고 LLaMA 또한, 사용하면서 발생하는 오류를 강사님께서 같이 해결해주셔서 생각보다 어려움 없이 사용해볼 수 있었습니다.
다시 한번 캠프와 강사님께 감사드립니다!
.
Learned
이번 주엔 OpenAI API를 사용해서 입출력을 해보는 것과 AWS 비용을 줄이면서 딥러닝 학습 및 추론을 할 수 있는 방법에 대해 배웠습니다.
두 가지 모두 중요하지만 후자의 내용이 실무에서 더 핵심적이라고 생각하기 때문에 간략하게 흐름을 정리해보겠습니다!
기존 구성의 문제점
여기서 말하는 기존 구성이란, 이후에 설명한 DLLS(Deep Learning Local Server)없이 FastAPI만을 이용하여 학습 및 추론을 하는 구조를 의미합니다.
제가 이해한 문제점은 크게 두 가지입니다.
- AWS에서 GPU를 사용할 수 없음
- 단순 DLLS를 사용하고 웹소켓을 이용하는 것은 AWS 비용을 절감할 수 없음
1번 문제는 말 그대로 저희가 사용하고 있는 EC2 인스턴스로는 GPU를 사용할 수 없다는 것입니다.
사실 현재 인스턴스 스펙으로는 딥러닝 학습은 당연히 불가능하고, npm install도 간당간당합니다.
그렇다면 이 문제는 딥러닝 학습 및 추론을 대신할 서버가 있으면 해결이 가능할 것으로 생각됩니다. 그것이 바로 DLLS입니다!
1번은 생각보다 쉽게 해결되는 듯한데, 2번 문제는 무슨 의미일까요?
웹소켓을 사용하는 것의 문제점은, AWS에서 DLLS로 학습 요청을 보내면 DLLS에서 학습이 끝날 때까지 학습이 끝났는지 확인하기 위해 지속적으로 통신을 보낸다는 것입니다.
통신을 보내고 받는 것은 AWS가 어떤 요청을 보내고 받는다는 것이고, 이는 AWS 비용의 증가로 이어질 것입니다.
이 문제는 어떻게 해결할 수 있을까요?
이 문제를 해결하기 위해 강사님께서는 소켓 통신을 제안하셨습니다.
소켓 통신을 이용해서 AWS가 DLLS로 딥러닝 요청을 보내면 DLLS는 그 요청을 받았다는 확인만 전송하고, 그 요청에 대한 반환값이 나오면 반환값이 나왔으니까 가져가라는 신호를 AWS로 보냅니다.
이렇게 하면 AWS와 DLLS가 지속적으로 통신을 하지 않으면서 딥러닝 학습 및 추론 결과를 주고 받을수 있게 됩니다!
설명이 다소 부족하다고 생각하실 수 있는데, 그건 제가 아직 완벽히 이해를 못했기 때문입니다.
다음 주에 부족한 부분을 채워서 자세히 설명드리도록 하겠습니다!
Lacked
이전에 말했던 것처럼 LLM 스터디를 진행중인데, 제가 전문성이 떨어지다보니 설명을 잘못하는 것 같다는 생각이 듭니다.
제 스스로 열심히 준비했다는 생각이 들게 준비를 하긴 했지만, 모든 수강생분들이 같은 사전 지식을 가지고 있는 게 아니다보니 이해도에 차이가 있는 것을 느꼈습니다.
그래서 이번 달이 끝나기 전에, 이론적인 설명 말고 딥러닝 라이브러리에 대한 기초적인 설명을 같이 준비해야겠다는 생각을 했습니다.
생각처럼 잘 될지 안될지 모르지만, 해보기로 했으니 최선을 다해서 진행해보겠습니다!
Longed for
일단, 매일 꾸준히 운동을 하고 있습니다.
요즘 이전보다 운동을 열심히 하지 않는 것 같은 생각을 하곤 하는데, 그래도 안나가는 것보단 나은 것 같아서 유지중입니다.
그리고 스터디를 캠프 초반부터 계속 진행중입니다.
함께 참여하는 스터디원들이 중간에 포기하지 않도록 보다 꼼꼼히 준비하도록 하겠습니다!
그리고 항상 몸 관리에 신경쓰도록 하겠습니다.
이번 주도 다들 고생 많으셨습니다!