2025/04/26 2

LLM을 활용한 카카오톡 대화 요약: Anthropic으로 평가용 테스트 케이스 자동 생성하기 [5]

웹 서비스나 AI 모델 검증을 위해 대화형 테스트 케이스를 대량 확보하는 작업은 비용과 시간이 많이 소요됩니다. 이번 포스트에서는 Python 스크립트와 Anthropic Claude API를 활용해2명/3명 대화 테스트 케이스를 자동으로 추출3000자 이상 대화로 확장최종적으로 eval_data.pickle 에 병합하고,간단한 get_eval_data 함수로 불러오는전 과정을 단계별로 살펴보겠습니다.1. 필요한 패키지glob : 디렉터리 내 파일 목록을 와일드카드 패턴으로 검색json : JSON 파일 입출력pickle : Python 객체 직렬화/역직렬화anthropic : Claude 모델 호출용 SDKpython-dotenv : .env 파일에서 환경변수 로드2. 테스트 케이스 추출 스크립트imp..

LLM을 활용한 카카오톡 대화 요약: HuggingFace 데이터셋 다운로드 방법 (sharegpt_deepl_ko) [4]

안녕하세요! 오늘은 HuggingFace에서 제공하는 sharegpt_deepl_ko 데이터셋을 다운로드하는 방법을 간단히 안내드리겠습니다.HuggingFace 데이터셋 소개먼저, HuggingFace의 sharegpt_deepl_ko 데이터셋은 한국어로 번역된 ShareGPT 데이터를 담고 있습니다. 이 데이터는 주로 자연어처리(NLP) 프로젝트나 챗봇 개발 등에 매우 유용하게 사용될 수 있습니다.데이터셋 링크 👉 sharegpt_deepl_ko설치하기커맨드라인에서 HuggingFace Hub를 설치합니다.pip install huggingface-hub데이터셋 다운로드 방법방법 1️⃣ 특정 파일만 주피터 노트북에서 다운로드주피터 노트북 환경에서 특정 파일(ko_dataset.json)만 다운로드하는..