RAGAS FrameworkRAGAS는 RAG 시스템의 품질을 정량적으로 측정, 평가하기 위한 프레임워크이다.RAG를 만들었는데, 검색과 답변이 정상적으로 출력된다. 그런데 이 답변이 정말 정확한 답변인건지 정확히 알 수 있을까? 정성적으로는 알 수 있지만, Vector검색에서 올바른 문서가 검색되고 이를 LLM이 잘 활용해서 올바른 정답을 반환하는지 정량적으로는 알 수 없다.이럴 때 이 문제를 해결하는 오픈소스 프레임워크가 RAGAS이다. LLM이 평가자가 되어 사람이 일일이 검수하지 않아도, RAG 품질을 숫자로 평가한다. RAGAS의 4대 핵심 지표가 각각 무엇을 측정하는지, 점수가 낮으면 어디가 문제인건지, 실무에서 활용할 방안에 대해 알아보자. RAGAS가 측정하는 4가지 지표RAG 시스템은 크..

프롬프트 엔지니어링Prompt Engineering이란 다양한 목적에 따라 LLM을 효율적으로 사용할 수 있도록 프롬프트를 개선하고 최적화하는 기술이다. "Garbage In, Garbage Out (GIGO)"이 프롬프트에도 똑같이 적용된다. 쓰레기를 넣으면 쓰레기가 나온다. AI 모델은 마법을 부리는 게 아니라, 사용자 입력값을 바탕으로 확률적인 결과를 계산하는 기계에 가깝다. 따라서 명확한 입력값을 넣어줘야만 사용자가 원하는 결과를 반환한다. ⛔️ BAD example"자바로 유저리스트 필터링하고 정렬하는 코드 짜줘."-> 어떤 기준으로 필터링하고, 어떤 기준으로 정렬할지 알 수 없음. ✅ GOOD example"""주어진 객체 리스트를 필터링 하고, 정렬하는 Java 코드 작성- User 객체(..

효율적인 개발 프로세스를 고민하는 분들을 위해, Claude와 Gemini를 교차 활용하는 방식의 AI 에이전트 협업 워크플로우를 짧게 정리해 공유합니다. 단일 AI 모델에 의존하는 대신, 서로 다른 모델의 강점을 활용해 기획의 완성도를 높이는 것이 핵심입니다.사실 이런건 Codex가 잘한다고 하긴 하는데, 제가 OpenAI는 구독하고 있지 않아서 사용하지 않습니다.이 방법을 더 하드하게 하려면 Claude, Gemini, Codex, DeepSeek 등 여러개의 모델에게 각각 Planning 문서를 하나씩 쓰게하고, 고급 모델에게 최종 검토 및 취합을 맡기는 방법도 있습니다. 다만 토큰이 살살 녹는.. 단순히 제가 요즘 사용하는 방법을 공유합니다. Claude x Gemini: AI 하이브리드 개발 프..

AI Prompt Repohttps://github.com/HSRyuuu/AI-Practice-Archive GitHub - HSRyuuu/AI-Practice-Archive: AI 활용방안, 사례를 모아둔 repository 입니다.AI 활용방안, 사례를 모아둔 repository 입니다. Contribute to HSRyuuu/AI-Practice-Archive development by creating an account on GitHub.github.com .claudeClaude Code를 사용하다 보면 프로젝트 루트에 .claude 디렉터리가 생성되는 것을 볼 수있다.단순 설정파일이나 작업 공간으로 생각할 수 있지만, claude code를 단순 챗봇이 아니라 한명의 개발자로 사용할 수 있도록..

Agent Skills란?Agent Skills는 Claude의 기능을 확장하는 모듈입니다. 각 Skill은 지시사항, 메타데이터를 포함하고, 선택적으로 스크립트나 템플릿 같은 리소스를 패키징하여 Claude가 관련 작업을 수행할 때 자동으로 활용하게 할 수 있습니다.쉽게 말해, Skill은 새로운 claude 세션에게 줄 온보딩 가이드와 같습니다. 특정 도메인의 워크플로우, 컨텍스트, 베스트 프랙티스를 담아두면 Claude가 필요할 때 참조하여 도메인 전문가처럼 행동하게 됩니다.Skills를 사용하는 이유기존 프롬프트의 한계매번 대화할 때마다 같은 지침을 반복해서 입력하는 것은 비효율적입니다:Java 코드를 작성할 때는 Spring Boot 3.x 규칙을 따르고, Entity는 protected 기본 ..

Qdranthttps://qdrant.tech/ Qdrant - Vector DatabaseQdrant is an Open-Source Vector Database and Vector Search Engine written in Rust. It provides fast and scalable vector similarity search service with convenient API.qdrant.tech최근 AI 서비스 개발에서 핵심 키워드 중 하나는 벡터 데이터(Vector Data) 이다. 텍스트, 이미지, 오디오 같은 비정형 데이터를 임베딩(embedding) 모델을 통해 고차원 벡터로 변환하면, 이 벡터들을 서로 비교해 유사도 검색이나 컨텍스트 기반 검색을 수행할 수 있다. 여기서 중요한 건 ..

이 글은 AI, RAG에 대해 기술적으로 전혀 모르는 상황에서 인앱 AI를 도입하기 위한 기본 개념을 정리합니다. 이 개념을 이해한 후에, 아래 Spring AI 실습 글을 보시길 바랍니다.(이 글에서 Spring AI는 직접적으로 다루진 않습니다.)[Spring] - Spring AI + RAG 임베디드 AI 구축 방법 [Spring] Spring AI + RAG 임베디드 AI 구축 방법시작하기 전에, 이 글은 개념 정리는 없는 실습 글입니다.RAG 및 AI 개념에 대해 정리한 글이 있으니, 참고하세요.[Spring AI] Spring Boot에 LLM을 도입하기 전 꼭 알아야 할 RAG 개념 정리 [Spring AI] Spring Boinnovation123.tistory.com 인앱 AI인앱 AI..

시작하기 전에, 이 글은 개념 정리는 없는 실습 글입니다.RAG 및 AI 개념에 대해 정리한 글이 있으니, 참고하세요.[Spring AI] Spring Boot에 LLM을 도입하기 전 꼭 알아야 할 RAG 개념 정리 [Spring AI] Spring Boot에 LLM을 도입하기 전 꼭 알아야 할 RAG 개념 정리이 글은 AI, RAG에 대해 기술적으로 전혀 모르는 상황에서 인앱 AI를 도입하기 위한 기본 개념을 정리합니다. 이 개념을 이해한 후에, 아래 Spring AI 실습 글을 보시길 바랍니다.(이 글에서 Spring AI는innovation123.tistory.com 특정 도메인의 정보를 LLM이 읽어서 챗봇처럼 대답해 주기 위한 기본 흐름은 아래와 같다.특정 도메인을 임베딩 하여 vector DB..