AI GOLD

AI 서비스를 활용한 개발이 점점 더 보편화되고 있는 지금, Google의 Gemini API와 Anthropic의 Claude API는 각기 다른 장점을 갖춘 도구로 주목받고 있습니다. 이 글에서는 두 API를 어떻게 설정하고 사용할 수 있는지 간단하게 소개합니다.Gemini API: 경제적인 선택지Google의 Gemini API는 성능 면에서는 다소 부족할 수 있지만, 가격 경쟁력 면에서 큰 장점을 지니고 있습니다. 특히 간단한 프로젝트나 테스트 용도로는 매우 유용하게 사용할 수 있습니다.Gemini API를 사용하기 위해서는 먼저 aistudio.google.com에 접속하여 Google 계정으로 로그인해야 합니다. 로그인 후, API 키를 발급받을 수 있으며, 해당 키는 나중에 사용할 수 있도록..

MLOps란 무엇인가?MLOps(Machine Learning Operations)는 머신러닝 모델의 개발부터 배포, 운영, 유지보수까지 전 과정을 효율적으로 관리하기 위한 일련의 프로세스와 도구를 의미합니다. 이는 전통적인 소프트웨어 개발 방식과는 달리, 머신러닝 시스템의 특수성을 고려하여 구성되며, 데이터 수집, 모델 학습, 배포, 모니터링, 피드백 수집 및 리소스 관리 등 다양한 요소를 포함합니다. MLOps는 머신러닝 모델이 실제 운영 환경에서 안정적으로 작동하고 지속적으로 개선될 수 있도록 지원합니다.MLOps가 필요한 이유머신러닝 모델을 개발하고 배포하는 과정은 복잡하며, 수많은 변수와 불확실성이 존재합니다. 이러한 복잡성을 관리하고, 모델의 신뢰성과 효율성을 확보하기 위해 MLOps가 필요합..

웹 서비스나 AI 모델 검증을 위해 대화형 테스트 케이스를 대량 확보하는 작업은 비용과 시간이 많이 소요됩니다. 이번 포스트에서는 Python 스크립트와 Anthropic Claude API를 활용해2명/3명 대화 테스트 케이스를 자동으로 추출3000자 이상 대화로 확장최종적으로 eval_data.pickle 에 병합하고,간단한 get_eval_data 함수로 불러오는전 과정을 단계별로 살펴보겠습니다.1. 필요한 패키지glob : 디렉터리 내 파일 목록을 와일드카드 패턴으로 검색json : JSON 파일 입출력pickle : Python 객체 직렬화/역직렬화anthropic : Claude 모델 호출용 SDKpython-dotenv : .env 파일에서 환경변수 로드2. 테스트 케이스 추출 스크립트imp..

안녕하세요! 오늘은 HuggingFace에서 제공하는 sharegpt_deepl_ko 데이터셋을 다운로드하는 방법을 간단히 안내드리겠습니다.HuggingFace 데이터셋 소개먼저, HuggingFace의 sharegpt_deepl_ko 데이터셋은 한국어로 번역된 ShareGPT 데이터를 담고 있습니다. 이 데이터는 주로 자연어처리(NLP) 프로젝트나 챗봇 개발 등에 매우 유용하게 사용될 수 있습니다.데이터셋 링크 👉 sharegpt_deepl_ko설치하기커맨드라인에서 HuggingFace Hub를 설치합니다.pip install huggingface-hub데이터셋 다운로드 방법방법 1️⃣ 특정 파일만 주피터 노트북에서 다운로드주피터 노트북 환경에서 특정 파일(ko_dataset.json)만 다운로드하는..

Transformer란?자연어처리를 공부하다 보면 꼭 등장하는 용어가 있습니다. 바로 Transformer입니다. 저도 처음엔 "이게 대체 뭐지?"라는 의문을 가지고 시작했지만, 학습하면서 점차 구조와 원리를 이해하게 되었습니다. 오늘은 Transformer의 핵심 요소 중 하나인 Self-Attention을 중심으로 간단히 정리해보려 합니다.기존 방식의 한계: RNN과 LSTM기존의 자연어 처리 모델인 RNN과 LSTM은 단어를 시간 순서대로 하나씩 처리하는 직렬 연산(Sequential Processing) 구조였습니다. 이 구조는 시간 정보는 보존되지만, 병렬 연산이 불가능해 학습 속도가 느리고 긴 문장을 처리할수록 성능이 저하되는 한계가 있었습니다.Transformer의 강점Transformer는..

🔍 프로젝트 개요이번 프로젝트에서는 신용카드 발급을 신청한 고객들의 프로필 데이터를 바탕으로, 신용도 수준을 예측하는 모델을 개발합니다.데이터는 Kaggle에서 제공되며, 총 36,457개의 데이터와 20개의 변수를 포함하고 있습니다.데이터 출처: Kaggle데이터 수: 36,457개컬럼 수: 20개테이블 수: 2개🎯 프로젝트 목적고객 데이터를 분석하여 카드 발급 가능 여부를 판단하는 의사결정 모델을 구축합니다.신용불량 가능성이 높은 고객을 사전에 예측함으로써, 금융사의 영업 이익률 개선을 도모합니다.🧭 분석 프로세스프로젝트는 다음과 같은 순서로 진행됩니다:목표 정의데이터 수집문제 정의 및 예측 목표 설정데이터 전처리중복 데이터 제거 (Duplicated Data)결측치 처리 (Missing Val..

데이터 수집의 중요성AI 모델의 성능은 데이터의 품질과 양에 크게 좌우됩니다. 특히, 카카오톡 대화 요약과 같은 자연어처리(NLP) 모델을 개발할 때는 다양한 유형의 데이터를 확보하고 평가해야 합니다. 이번 글에서는 프로젝트의 성능 향상을 위해 데이터를 어떻게 수집하고 활용할 것인지를 다뤄보겠습니다. 📊왜 데이터 수집이 필요할까?1️⃣ 테스트 데이터 확보AI 서비스를 개발하기 전에 다양한 시나리오에서 모델을 테스트해야 합니다.실제 카카오톡 대화를 활용할 수 없는 경우, 유사한 데이터로 모델 성능을 검증할 필요가 있습니다.2️⃣ 모델 평가 데이터 구축평가 데이터가 많을수록 모델의 성능을 객관적이고 일반적인 기준으로 측정할 수 있습니다.편향되지 않은 평가 데이터를 확보해야 실제 환경에서 모델이 잘 동작하는..

프로젝트 개요최근 AI 기술이 발전하면서 개인 업무를 효율적으로 관리할 수 있는 AI 에이전트에 대한 관심이 높아지고 있습니다. 이번 프로젝트에서는 사내 업무를 지원하는 AI 비서를 개발하여 일정 관리, 회사 일정 확인, 사내 내규 질의응답 등을 자동화하고자 합니다. 이를 통해 AI 서비스 개발과 모델링 파이프라인을 복습하는 동시에, Function Call 및 RAG 기술을 활용하여 보다 강력한 AI 에이전트를 구축하는 것이 목표입니다.프로젝트를 진행하는 이유일반적인 LLM API는 대화형 AI로 활용하기에 적합하지만, 실제 업무를 수행하는 데에는 몇 가지 한계가 있습니다:외부 지식 부족: LLM은 사내 데이터나 일정과 같은 외부 지식을 기본적으로 알지 못함.실제 액션 수행 불가: 일정 예약, 사내 문..

“투자 어시스턴트” 웹 애플리케이션을 Streamlit과 Hugging Face Transformers, Langchain 등의 라이브러리를 사용해 구축하는 과정을 보여줍니다. 실시간 질의에 대해 온프레미스(로컬) 환경에서 답변을 생성할 수 있도록 합니다.import streamlit as stimport transformersimport torch# Langchain 및 커뮤니티 모듈(베타)에서 BM25, FAISS, SentenceTransformer를 불러옵니다.from langchain_community.retrievers import BM25Retrieverfrom langchain_community.embeddings.sentence_transformer import SentenceTransf..

이 글에서는 Hugging Face의 transformers 라이브러리를 사용하여 42dot의 한국어 언어 모델인 42dot_LLM-PLM-1.3B를 활용해 문장을 생성하는 방법을 소개합니다. 간단한 Python 코드를 통해 삼성전자와 관련된 정보를 생성하는 과정을 설명하며, 모델의 사용법과 주요 파라미터 설정을 다룹니다.# Hugging Face Transformers와 PyTorch 라이브러리 가져오기import transformersimport torch# 사용할 모델 ID 설정 (Hugging Face Model Hub에 등록된 모델)model_id = "42dot/42dot_LLM-PLM-1.3B"# 텍스트 생성 파이프라인 구성# - "text-generation": 텍스트 생성 태스크 지정# ..