jumemory 님의 블로그

1. 멀티모달(Multimodal)이란?멀티모달은 텍스트, 이미지, 음성, 영상 등 **서로 다른 형태의 데이터(Modality)**를 함께 처리하는 기술입니다. 단순히 이미지를 텍스트로 설명하는 수준을 넘어, 여러 정보를 동시에 받아들여 통합적으로 사고하는 것이 핵심입니다.LMM (Large Multimodal Model): 텍스트 기반 LLM에 시각/청각 능력이 통합된 모델 (예: GPT-4o, Gemini 1.5 Pro, Claude 3.5 Sonnet).2. 핵심 원리: 공유된 공간 (Shared Embedding Space)서로 다른 데이터들이 어떻게 서로 소통할까요? 비결은 **'공통 언어'**로 변환하는 데 있습니다.인코더 (Encoders): 이미지는 Vision Encoder가, 텍스트는..

[LLM 컨셉] Guardrails: AI의 폭주를 막는 보이지 않는 벽**가드레일(Guardrails)**은 사용자의 입력(Input)과 모델의 출력(Output) 사이에서 실시간으로 대화를 모니터링하고 제어하는 보안 및 품질 관리 레이어입니다. 모델 자체를 재학습시키지 않고도, 실시간으로 부적절한 답변을 차단하거나 형식을 강제할 수 있습니다.1. 왜 가드레일이 필요한가? (AI의 3대 위험 요소)LLM은 확률적으로 다음 단어를 예측하기 때문에, 완벽하게 통제하기 어렵습니다.탈옥 (Jailbreaking): 사용자가 교묘한 질문으로 모델의 안전 설정을 무력화하는 행위.유해 콘텐츠 (Toxic Content): 편향된 발언, 혐오 표현, 혹은 자가 해킹 방법 등 위험한 정보를 생성할 위험.데이터 유출 (..

드디어 로드맵의 완성 단계인 [21단계: Evaluation] 모델의 성적표에 도달했습니다. 모델을 만들고 서빙까지 했다면, 이제 이 모델이 정말 "일을 잘하는지" 객관적으로 검증할 차례입니다. LLM은 정답이 정해져 있지 않은 경우가 많아 평가가 매우 까다로운데, 이를 해결하는 현대적인 평가 체계들을 정리해 드립니다.[LLM 컨셉] Evaluation: 주관적인 AI를 객관적으로 측정하는 법**LLM 평가(Evaluation)**는 모델이 내놓은 답변의 품질을 수치화하는 과정입니다. 전통적인 머신러닝의 정확도(Accuracy)만으로는 문장 속에 담긴 논리, 뉘앙스, 사실 여부를 판단할 수 없기 때문에 더 고차원적인 지표들이 사용됩니다.1. 전통적인 벤치마크 (Static Benchmarks)모델의 기초..

[LLM 컨셉] Serving: 1초라도 더 빠르게 답변하는 인프라의 기술**서빙(Serving)**은 학습된 모델을 서버에 올리고, 사용자의 요청(Request)을 받아 결과(Response)를 돌려주는 과정입니다. LLM 서빙은 일반적인 웹 서비스와 달리 메모리 소모가 극심하고 연산량이 방대하기 때문에, 이를 효율적으로 관리하는 전용 엔진이 필수적입니다.1. 서빙의 핵심 성능 지표 (KPI)고속 서빙을 평가할 때 가장 중요하게 보는 세 가지 지표입니다.TTFT (Time To First Token): 사용자가 질문한 뒤 첫 번째 글자가 보일 때까지의 시간. (사용자가 체감하는 대기 시간)TPOT (Time Per Output Token): 첫 글자 이후 다음 글자들이 생성되는 속도. (읽기 편한 속도..

이번 단계는 거대하고 무거운 LLM을 우리집 컴퓨터나 스마트폰에서도 빠릿하게 돌아가게 만드는 마법, [19단계: Quantization] 모델 경량화입니다. 모델의 덩치는 줄이면서 지능은 유지하는 이 효율적인 기술의 정수를 정리해 드립니다.[LLM 컨셉] Quantization: 거대한 지능을 가볍게 압축하는 기술**양자화(Quantization)**는 모델의 가중치(Weight)를 표현하는 숫자의 정밀도를 낮추어, 모델의 용량과 연산량을 획기적으로 줄이는 기술입니다. 비유하자면, 아주 세밀한 붓(고정밀도)으로 그린 그림을 조금 더 굵은 붓(저정밀도)으로 다시 그리되, 전체적인 형체는 알아볼 수 있게 유지하는 과정과 같습니다.1. 왜 양자화가 필요한가?모델이 커질수록(예: Llama 3 70B), 이를 ..

이번 단계는 앤스로픽(Anthropic)이 제시한 새로운 인공지능 연결 표준이자, 모델이 파편화된 데이터와 도구들에 즉각적으로 접근할 수 있게 해주는 [17단계: MCP] LLM의 만능 커넥터입니다. 에이전트가 활동할 수 있는 '표준 인터페이스'를 구축하는 핵심 내용을 정리해 드립니다.[LLM 컨셉] MCP: 모델과 데이터를 잇는 표준 고속도로**MCP (Model Context Protocol)**는 LLM 애플리케이션이 외부 데이터 소스나 도구(Tool)와 상호작용할 수 있도록 돕는 개방형 표준 프로토콜입니다. 과거에는 서비스마다 제각각이었던 연결 방식을 하나로 통일하여, 한 번의 구축으로 다양한 모델과 클라이언트에서 재사용할 수 있게 만든 것이 핵심입니다.1. 왜 MCP가 필요한가? (연결의 파편화..

[LLM 컨셉] AI Agent: 생각하고 행동하며 목표를 달성하는 지능체**AI 에이전트(Agent)**는 주어진 목표를 달성하기 위해 스스로 계획을 세우고, 필요한 도구(Tool)를 사용하며, 그 결과를 바탕으로 다음 행동을 결정하는 자율적인 시스템입니다. 챗봇이 '말을 잘하는 사람'이라면, 에이전트는 '일을 완수하는 직원'에 비유할 수 있습니다.1. 에이전트의 핵심 구성 요소 (The Brain & Body)에이전트는 크게 4가지 핵심 능력을 갖추고 있어야 합니다.Planning (계획): 복잡한 목표를 작은 단위의 작업으로 쪼개고 실행 순서를 정합니다. (예: CoT, Step-by-step reasoning)Memory (기억): 현재 진행 상황과 과거의 시도 결과를 기억합니다. (단기 기억: ..

이번 단계는 랭체인의 단방향 파이프라인(Chain)을 넘어, 모델이 스스로 상태를 확인하고 이전 단계로 돌아가거나 반복할 수 있게 해주는 [16단계: LangGraph] 에이전트의 설계도입니다. 복잡한 AI 워크플로우를 제어하는 핵심 기술을 정리해 드립니다.[LLM 컨셉] LangGraph: 순환하고 사고하는 AI 워크플로우**랭그래프(LangGraph)**는 랭체인(LangChain) 생태계 위에서 구축된 라이브러리로, LLM 애플리케이션에 순환(Cycle) 구조와 상태 관리(State Management) 기능을 부여합니다. 단순한 'A → B → C' 흐름이 아니라, 결과가 만족스럽지 않으면 다시 'A'로 돌아가 재시도하는 지능적인 루프를 설계할 수 있게 해줍니다.1. 왜 랭그래프가 필요한가? (C..

[LLM 컨셉] LangChain: AI 애플리케이션의 강력한 뼈대**랭체인(LangChain)**은 LLM을 활용한 애플리케이션을 개발할 때 필요한 여러 구성 요소를 마치 레고 블록처럼 연결해 주는 프레임워크입니다. 모델 하나만 쓰는 것을 넘어, 외부 데이터와 도구를 결합한 복잡한 시스템을 구축할 때 표준처럼 사용됩니다.1. 왜 랭체인이 필요한가?LLM 단독으로는 할 수 없는 일들을 랭체인이 가능하게 합니다.연결성(Chaining): 여러 단계의 작업(예: 요약 후 번역)을 하나의 파이프라인으로 묶어줍니다.기억력(Memory): 모델 자체는 이전 대화를 기억 못 하지만, 랭체인이 대화 기록을 저장했다가 다시 넣어줍니다.데이터 확장: 우리가 배운 벡터 DB와 LLM을 아주 쉽게 연동해 줍니다.2. 랭체인..

[LLM 컨셉] Semantic Search: 키워드를 넘어 '의도'를 검색하다**의미 기반 검색(Semantic Search)**은 사용자의 검색어에 담긴 **의도(Intent)**와 문장의 **맥락(Context)**을 이해하여 가장 관련성이 높은 결과를 제공하는 기술입니다. "검색어가 무엇인가?"보다 "검색어를 던진 이유가 무엇인가?"에 집중하는 방식입니다.1. 전통적 검색(Lexical Search) vs 의미 기반 검색구분키워드 검색 (Lexical)의미 기반 검색 (Semantic)작동 원리문자열 일치 (TF-IDF, BM25)벡터 공간 내 의미적 거리 측정장점고유 명사, 제품명 검색에 정확함동의어, 문맥, 모호한 표현 처리에 강함단점오타나 유의어 처리에 취약함계산 비용이 상대적으로 높음비유사..