-
-
LLM 엔지니어링 - RAG, 파인튜닝, LLMOps로 완성하는 실무 중심의 LLM 애플리케이션 개발
폴 이우수틴.막심 라본 지음, 조우철 옮김 / 한빛미디어 / 2025년 5월
평점 :

현재 성공적으로 대중에게 접근한 AI 인공지능은 대형 언어 모델인 LLM입니다. 각종 질의뿐만 아니라, 업무, 음악, 동영상, 프로그래밍 등 각종 분야에 맹활약을 펼치고 있죠. 최근에는 스마트폰의 핵심이 기능이 되어 가고 있고, 로봇의 수준도 단기간에 껑충 업그레이드하고 있습니다.
개발자라면, 이런 상황에 무관심할 수 없습니다. 지금은 아닐지라도 결국 언젠가는 인공지능 업무를 할 수밖에 없으니까요. 저 역시 그래서, 인공지능 관련 책이라면, 틈틈이 찾아보고 있습니다. 전에는 주로 이론 쪽을 많이 봤고, 요즘은 LLM 활용, 인공지능 실무 쪽을 중심으로 보고 있죠.
그런데 확실히 AI 활용 쪽은 이론과는 많은 차이가 있는 것을 느끼게 됩니다. 주로 책을 통해 정보를 얻고 공부를 하다 보니, AI 이론보다는 응용이나 활용이 좀 더 쉽게 느껴집니다. 물론 이것은 어디까지나 극히 제한된 조건에서 샘플 정도의 코드로 테스트하다 보니, 그렇게 느껴지는 거겠죠.
사실 다들 아시는 거처럼, 실무 개발은 단순히 프로그래밍 언어 한두 개 익혔다고 할 수 있는 게 아닙니다. 프로그래밍 언어는 가장 기초 준비물이고, UX, UI, 서버에 대한 이해, 데이터베이스, 보안, 통신, 각종 실무 또는 전자 관련 지식 등 상황에 따라 매우 많은 지식들이 필요로 합니다.

이에 폴 이우수틴, 막심 라본의 'LLM 엔지니어링'은 AI 특히 대형 언어 모델 LLM 애플리케이션 실무 개발에 필요한 다양한 지식을 다룹니다. 단순히 인공지능 활용 샘플이나 작은 예제만 보여주는 책이 아닙니다. LLM 개발 시작부터 도구 설치, 배포, 테스트까지 모든 과정을 잘 담은 실무 실전 가이드, 종합 안내서라고 할 수 있습니다.

'LLM 엔지니어링'에서는 문체를 한습하고 사용자가 직접 쓴 것처럼 글을 자동 생성해 주는 스타일전이 서비스를 하는 LLM Twin을 구축하는 과정을 통해서 LLM 애플리케이션 개발 전반을 다루게 됩니다.

3인의 소규모 팀이 저비용으로 LLM Twin을 개발하는 것을 마치 스토리텔링 하는 느낌으로 책의 내용을 전개합니다. 스케치를 하듯이 개발의 밑그림이 되는 아키텍처부터 생각합니다. 모놀리식 배치 파이프라인 아키텍처를 가볍게 알아보고, FTI 파이프라인 아키텍처로 확장해 보고, LLM Twin의 아키텍처를 그립니다.

이어 LLM Twin 구축에 필요한 pyenv, Poetry, 모델 레지스트리, 오케스트레이터 ZenML, 실험 추적 도구 Comet ML, 프롬프트 모니터링 Opik, 몽고DB, Qdrant 등의 도구를 설치하고 AWS 세이지메이커 환경을 세팅합니다.
'LLM 엔지니어링'은 11개 챕터와 1개의 APPENDIX로 구성되어 있습니다. 앞에서 말한 사전 준비 파트는 챕터 2장까지이고, 그 이후에는 보다 세부적이고 단계적으로 LLM Twin 구축에 필요한 정보들을 담고 있습니다.

검색 증강 생성 RAG는 외부 정보를 활용해 LLM의 기존 지식을 보완하여 정확도와 신뢰도를 높여줍니다. 인공지능의 엉뚱한 답변, 거짓말하는 것을 개선해 주죠. 지도 학습 튜닝 SFT 챕터에서는 전체 파인튜닝, LoRA, QLoRA 기법도 같이 배웁니다. 이걸 발전시킨 선호도 정렬, 직접 선호 최적화 DPO를 이어 학습하며, RAG 시스템으로 기준을 세워 LLM 평가도 해봅니다. DevOps, MLOps, LLMOps의 이론적 본질도 알아봅니다.

제가 아직 안 써본 프로그램들이 너무 많네요. 계속 인공지능 관련 책을 봐왔으나, 실제 AI 관련 일에 투입된 적이 없다 보니, 이런 것들을 알아 나갈 기회가 없었죠. 그러나 'LLM 엔지니어링'을 통해 이렇게 경험해 보고 배울 수 있게 됩니다. 왜 이런 프로그램을 쓰며, 장단점이 무엇인지, 비슷한 것들은 뭐가 있는지도 자세한 설명을 들을 수 있습니다.
'LLM 엔지니어링'이 달리 LLM 실무 가이드, 실전 종합 안내서가 아닙니다. 한 챕터, 한 챕터 생생한 실무 경험을 쌓을 수 있게 해줍니다. 제가 팀장 또는 팀원으로 LLM 소프트웨어를 개발하는 느낌이 들게 해줍니다. 데이터 수집에서는 도덕적, 윤리적인 사용 여부까지도 체크하고, 배포와 테스트까지 염두에 둬야 할 것들을 꼼꼼하게 알려줍니다. 진짜 실전, 실무에 도움 되는 내용들이 참 많습니다.

아울러 'LLM 엔지니어링'은 복잡한 개념, 어려운 내용도 탁월한 설명력으로 이해하기 쉽게 알려줍니다. 챕터마다 요약과 참고 문헌을 정리해 놨습니다. 책 곳곳에 등장하는 조우철 역자의 세심한 올긴 이 주석은 맥락 이해나 명확하게 해주며, 코드 예제 깃허브 리포지터리 사용 시 발생할 수 있는 오류 해결 방법까지 제공하고 있어 독자가 실습하는 과정에서 겪을 곤란함을 덜어주고 있습니다.
현재 나오고 있는 각종 인공지능 서비스를 접하다 보면, 이건 어떤 구조로 어떻게 만들었을까? 궁금했는데, 'LLM 엔지니어링'을 통해 많은 힌트를 얻을 수 있었습니다. 숲 전체를 볼 수 있게 하면서, 나무 하나하나의 차이, 가꾸는 방법도 알려주는 책입니다. 인공지능 특히 LLM 실무에 바로 써먹을 수 있는 깊이 있는 가이드가 필요한 분이라면, 'LLM 엔지니어링'이 든든한 안내자 역할을 해줄 것입니다.