나만의 ChatGPT, Custom GPT, AI 비서, Ai assitant 등의 용어에서  등장하는게 

파인튜닝과, RAG 가 있습니다.

RAG 의 경우는 개발적인 허들이 있는 편입니다.

노력대비 결과물이 얼마나 좋을지(저는 안해봤습니다.) 알수는 없지만, 결과물은 한글 처리가 관건이 되겠죠.

문장의 어색함도 없어야 하고, 문맥적 순서도 자연스러워야 합니다. (말을 못알아 먹는것처럼 보여서는 안되겠죠)

이미 LLM 사용자의 눈높이가 높아진 상태라서, 어지간한 노력으로는 제대로된 커스텀 모델을 만들기가 어려웠습니다.

최근에  llama3.1 이 오픈되어 RAG 쪽에는 획기적인 결과가 나올거란 기대가 있습니다.

(llama3.1 이 한글번역이 기본 내장이 아니라서 좀 아쉽지만, 성능적으로 매우 우수해서 좋은 결과가 나올것 같습니다.)

제가 주목하고 있는건

OpenAI GPT-4o mini 입니다. 그저께인가 파인튜닝에서 이 모델을 공식 지원하기 시작했습니다.

기존 모델들은 한국어 성능이 별로 좋지 못해서(그래도 젤 좋은편) 

결과나 특히 비용적인 면에서는 부담이 많은 편이었습니다.

올해 들어서 새로운 모델들이 나오고,  api 비용은 저렴해진 편입니다.

사용자 대상 서비스를 만들어도 수익모델만 잘 잡으면 서비스하는데 부담이 없게 되었습니다.

그래서, GPT-4o mini  파인튜닝으로 뭔가를 만들고 볼려고 하고 있습니다.

(아직 RAG 할 실력이 안됩니다. 사실 이게 기술적으로는 더 효용성이 높을거 같습니다만,,ㅠ)

개인적인 전망으로는 AI 업계에 큰 변화의 물결이 온게 아닐까 합니다. 막연하게 아직은 아닐꺼야 라고 생각하고 있었겠지만,

이제 OnDevice AI 나 Custom AI, AI 비서 라는 실용품이 곧 나올거라고 봅니다.(이미 나온것도 있죠.)

세상이 빨리 바뀌니. 몸도 정신도 피곤하긴 하지만,, 아직은 따라갈만해서인지, 재미있다고 느끼고 있습니다.

새로운것도 많아지고, 해보고 싶은것도 많아지고 있네요. 시간은 항상 부족하지만요.^^

오늘도 뚝딱뚝딱 뭔가 하나 만들었습니다.(공개는 다음에)

이제까지 만들어 보거나, 작업한 내역은 여기에

https://sir.kr/developers_pr/231?page=1