1. DevOps와 CI/CD 개요1.1 왜 DevOps인가전통적인 개발 프로세스에서는 "개발 환경에서는 잘 되는데, 오픈만 하면 장애가 난다"는 말이 흔했습니다. 원인은 개발과 운영이 서로 다른 목표(KPI)를 가지고 분리되어 있기 때문입니다.분리된 Dev / Ops통합된 DevOps책임 전가 · 책임 회피협업을 통한 문제 해결"난 운영 몰라" / "난 개발 안 했는데"끝까지 책임지는 Full Stack 인력던지면 그만처음부터 문제를 만들지 않기검증 안 된 신기술은 도입 금지도입해서 빠르게 검증 (Fail Fast)서로 다른 KPI같은 KPI1.2 DevOps 실현을 위한 두 축문화와 조직: 개발자와 운영자가 공동의 목표를 세우고 함께 일하며, 지속적인 피드백으로 팀의 효율을 높입니다.프로세스와 자동화..
1. AI Agent 이해1-1. AI의 진화단계핵심예시ANI (Artificial Narrow Intelligence)특정 업무(분야)에 특화된, 알고리즘 기반으로 학습된 모델규칙 기반 Expert System, ML(SVM·XGBoost·Ensemble), 딥러닝 서비스(얼굴인식, 바둑 AI)Generative AI – Single Modal한 종류의 데이터를 생성텍스트(LLM), 이미지(DALL·E, Stable Diffusion, Midjourney), 음성(TTS, Voice Conversion)Generative AI – Multi Modal텍스트+이미지+오디오+비디오를 종합적으로 이해·생성GPT-4V, Flamingo, Kosmos-2Actuation with Perception인지(Perc..
모델을 학습시켜서 노트북에서 RMSE가 잘 나왔다면 일이 끝난 걸까요? 실무에서 AI 프로젝트가 막히는 지점은 학습보다 그 이후인 경우가 훨씬 많습니다.노트북 안에만 있는 모델은 다른 서비스가 호출할 수 없으니 가치를 만들지 못합니다.새 모델을 배포했더니 오히려 성능이 떨어져도, 이를 막을 장치가 없습니다.시장 환경이 바뀌어도 코드에는 에러가 없으니 아무도 모른 채 틀린 예측을 계속 내보냅니다.이 글은 이 세 가지 문제를 각각 모델 서빙, MLOps, AIOps로 풀어 가는 과정을 하나의 흐름으로 정리한 글입니다. 예제는 가상 종목 HAIC(HumanAI Corporation)의 일별 시세로 다음날 종가를 예측하는 모델을 사용합니다.서빙은 모델을 "쓸 수 있게" 만들고, MLOps는 모델을 "믿고 바꿀 ..
1. 분석 프로세스 이해데이터 분석 분류 체계데이터 분석은 데이터 유형, 학습 방식, 분석 기법, 분석 목적에 따라 분류할 수 있다.데이터 유형: 정형 데이터, 비정형 데이터(Text, Image)학습 방식: 지도학습, 비지도학습분석 기법: ML/DL, 통계 분석(+ Rule 개발)분석 목적: 성능 평가, 결과 해석(+ 분석 자동화)데이터 분석 프로세스데이터 분석 과제 수행을 위한 단계별 작업 절차는 다음과 같다.비즈니스 이해(Business Understanding): 문제 정의, 목표 설정, 분석 기준 정의. 산출물은 분석 기획서, 분석 요건 정의서데이터 준비(Data Preparation): 데이터 수집 및 통합, 데이터 탐색(EDA), 품질 점검. 산출물은 필요 데이터 정의서데이터 전처리(Data..
RAG(Retrieval-Augmented Generation) Pipeline 설계 및 구축 — 개념 정리1. RAG란 무엇인가*RAG(Retrieval-Augmented Generation)**는 사용자의 질문에 대해 외부 데이터베이스나 문서를 검색한 후, 이를 바탕으로 답변을 생성하는 기법이다.Retrieval: 사용자의 질문을 기반으로 관련 문서를 데이터베이스에서 검색Augmented: 검색한 문서를 모델 입력(프롬프트)에 추가하여, 검색된 지식을 활용할 수 있도록 보완Generation: 사용자 질의 + 검색 문서로 자연어 생성 모델이 답변 생성RAG가 필요한 이유비즈니스 관점: 기업들은 방대한 내부 문서를 보유하고 있지만 LLM은 그 데이터로 사전학습되지 않았다. 비즈니스에 적용하려면 기업 내..
머신러닝 프로젝트를 시작하면 어떤 알고리즘을 사용할지부터 고민하기 쉽다. 하지만 실제 모델의 성능을 크게 좌우하는 것은 알고리즘보다 데이터의 품질과 표현 방식인 경우가 많다.흔히 “Garbage In, Garbage Out”이라고 한다. 품질이 나쁜 데이터를 사용하면 좋은 예측 결과를 얻기 어렵다는 뜻이다. 그런데 데이터가 깨끗하다고 해서 반드시 좋은 모델을 만들 수 있는 것은 아니다. 결측치나 오류가 없는 데이터라도 문제를 설명하는 정보가 부족하다면 모델의 예측력에는 한계가 있다.결국 중요한 것은 “Better Features In, Better Predictions Out”이다. 모델이 학습하기 좋은 피처를 만들어야 더 좋은 예측 결과를 얻을 수 있다. 1. Feature Engineering이란?F..
