AI GOLD

이 블로그에서는 Hugging Face 라이브러리를 활용해 한국어 기반의 sLLM 모델인 MLP-KTLim/llama-3-Korean-Bllossom-8B를 사용하는 방법을 소개합니다. Hugging Face의 transformers 라이브러리를 통해 손쉽게 텍스트 생성 파이프라인을 구축할 수 있으며, 간단한 프롬프트를 입력하여 모델의 성능을 확인할 수 있습니다.# Hugging Face Transformers와 PyTorch 라이브러리 가져오기import transformersimport torch# 사용할 모델의 ID 설정 (Hugging Face 모델 허브에서 가져옴)model_id = "MLP-KTLim/llama-3-Korean-Bllossom-8B"# 텍스트 생성 파이프라인 구성# - "tex..

SBERT(Sentence-BERT)는 문장 수준의 임베딩을 생성하여 자연어 처리(NLP)에서 문장 간 유사도를 효율적으로 계산할 수 있도록 도와주는 강력한 도구입니다. 이번 블로그에서는 SBERT 모델 중 distiluse-base-multilingual-cased-v1을 활용하여 문장을 벡터화하고, FAISS(Vector Search Library)를 사용하여 효율적으로 유사 문장을 검색하는 시스템을 구축하는 방법을 알아보겠습니다.SBERT와 FAISS를 활용한 주요 작업 흐름문서 리스트 준비: 검색 대상이 되는 문서를 리스트 형태로 준비합니다.SBERT로 문장 임베딩 생성: 사전 학습된 다국어 SBERT 모델을 사용해 각 문장을 벡터화합니다.FAISS로 벡터 저장소 구성: 생성된 벡터를 FAISS ..

Sentence Transformers란?Sentence Transformers(SBert)는 문장과 문서를 고차원의 임베딩 벡터로 변환하여 NLP 작업에 활용할 수 있는 강력한 라이브러리입니다. 특히, 다국어를 지원하는 모델을 제공하므로 한국어 NLP 태스크에서도 유용하게 사용할 수 있습니다.SBert 공식 웹사이트에서는 다양한 Pretrained Models를 제공합니다. 이번 글에서는 한국어 및 다국어 모델을 사용하는 방법을 다룹니다.다국어 모델: distiluse-base-multilingual-cased-v1distiluse-base-multilingual-cased-v1은 다국어를 지원하는 Sentence Transformers 모델 중 하나로, 50개 이상의 언어를 지원합니다. v1이 v2보..

Sentence Transformers란?Sentence Transformers(SBert)는 문장과 문서를 임베딩 벡터로 변환할 수 있는 라이브러리입니다. 이 라이브러리를 통해 문장 간의 의미적 유사성을 효과적으로 계산할 수 있습니다. SBert는 다양한 NLP 태스크에서 활용 가능하며, 사용자는 https://sbert.net/에서 자세한 정보를 확인할 수 있습니다.주요 기능 및 활용Sentence Transformers를 사용하면 다음과 같은 작업이 가능합니다:문서 및 문장 임베딩 벡터로 변환텍스트 데이터를 고차원의 벡터 표현으로 변환해 의미적 비교 및 검색에 활용할 수 있습니다.유사도 계산변환된 벡터를 활용해 문장 간 의미적 유사도를 측정할 수 있습니다.온프레미스 환경에서 구현 가능클라우드 연결 ..

최근 인공지능 모델이 생성하는 텍스트에서 '할루시네이션(Hallucination)' 문제가 빈번히 발생하고 있습니다. 이를 방지하기 위해 RAG (Retrieval-Augmented Generation) 기법이 주목받고 있습니다. 이번 포스트에서는 RAG를 구현하고, 이를 통해 어떻게 생성된 응답의 신뢰도를 높일 수 있는지 살펴보겠습니다.RAG란 무엇인가?RAG(Retrieval-Augmented Generation)는 검색과 생성이 결합된 AI 모델의 한 형태입니다. 단순히 대규모 언어 모델(LLM)이 질문에 답변을 생성하는 것과 달리, RAG는 다음 두 가지 단계로 동작합니다:정보 검색 (Retrieval)모델이 질문과 관련된 정보를 외부 데이터베이스나 문서에서 검색합니다.검색 결과는 질문과 관련성이..

문서 검색 시스템에서 성능 평가(Evaluation)는 매우 중요한 작업입니다. 오늘은 BM25와 FAISS 알고리즘을 결합한 Hybrid Search를 구현하고, 이를 평가하는 과정을 소개합니다. 이 글에서는 Python 코드 예제와 함께 정확도(Precision), 재현율(Recall), F1 점수를 계산하여 검색 성능을 분석하는 방법을 다룹니다.문서 검색 시스템 구성우리는 두 가지 검색 알고리즘을 결합한 Hybrid Search를 사용합니다.BM25: 단어 기반 검색 알고리즘으로, 검색어와 문서의 단어 겹침 정도를 바탕으로 검색.FAISS: OpenAI API의 Embedding을 활용하여 의미 기반 검색을 수행.from langchain_community.retrievers import BM25R..

이번 실습에서는 BM25와 FAISS를 결합한 Hybrid Search(Ensemble Retriever)를 구현하고, 검색 결과를 테스트해 보겠습니다. 이 방법은 두 검색 알고리즘의 장점을 조합하여 더 나은 검색 결과를 제공할 수 있습니다.Hybrid Search란?Hybrid Search는 다양한 검색 알고리즘의 결과를 조합하여 최종 검색 결과를 도출하는 방법입니다.이번 실습에서는 BM25와 FAISS를 활용하며, 두 검색기의 결과를 가중치(Weights) 기반으로 결합하는 Ensemble Retriever를 구현합니다.BM25: 단어 기반 검색 알고리즘으로, 검색어와 문서 간 단어 겹침 정도를 기준으로 유사도를 측정합니다.FAISS: OpenAI API Embedding을 활용하여 벡터화된 문서를 ..

단어 기반 검색 알고리즘(BM25)과 OpenAI API Embedding(FAISS)를 활용하여 동일한 데이터에 대해 검색 성능과 특징을 비교해 보았습니다.실습에 사용한 알고리즘BM25: 단어 기반 검색 알고리즘으로, 텍스트 데이터의 단어 빈도와 검색어와의 겹치는 정도를 바탕으로 유사도를 측정합니다.FAISS: OpenAI API의 임베딩을 활용하여 문서를 벡터화하고, 의미적으로 유사한 문서를 검색합니다.BM25와 FAISS 검색기를 설정하고 동일한 문서 리스트를 각각의 알고리즘에 입력하였습니다.BM25Retriever: 단어 빈도를 기반으로 검색FAISS: OpenAI API 임베딩을 활용하여 문서를 벡터화from langchain_community.retrievers import BM25Retrie..

이 글에서는 LangChain과 OpenAI Embeddings, 그리고 FAISS를 활용하여 PDF 문서를 기반으로 질문-응답 검색기를 구현하는 방법을 소개합니다.이전에 진행했던 PDF 문서 파싱 및 청크 단위 분리 작업을 확장하여, 문서를 임베딩으로 변환한 후 검색 기능을 구현합니다.주요 구현 과정PDF 문서 파싱텍스트를 청크 단위로 분리임베딩 변환 및 벡터 저장질문을 벡터로 변환하여 유사도 기반 검색 수행PDF 검색기 구현 코드아래는 검색기를 구현하기 위한 Python 코드입니다:from langchain_community.document_loaders import PyPDFLoaderfrom langchain.text_splitter import CharacterTextSplitterfrom la..

Python과 LangChain 라이브러리를 활용하여 문서를 원하는 단위로 분리(Splitting)하는 방법을 소개합니다. 이 글에서는 문자 단위로 문서를 쪼개는 실습을 진행합니다.1. 문서 쪼개는 방식문서를 나누는 방식에는 여러 가지가 있습니다. 예를 들어:문단 단위: 문단마다 분리문장 단위: 문장마다 분리의미 단위: 의미가 이어지는 구간마다 분리이 글에서는 문자 단위로 분리하여 특정 크기로 청크(chunk)를 만드는 실습을 진행합니다.2. 실습 코드다음은 LangChain의 CharacterTextSplitter를 활용하여 문서를 문자 단위로 쪼개는 코드입니다:from langchain_community.document_loaders import PyPDFLoaderfrom langchain.text..