반응형
반응형
이제 모델도 설치하고 세팅까지 마쳤다면, 본격적으로 로컬 AI와 대화를 시작할 수 있어요.이번 편에서는 실제로 어떻게 대화를 주고받는지, 또 좋은 답변을 얻기 위한 프롬프트 작성 팁까지 정리해봤습니다.1. Chat 탭에서 대화 시작하기 LM Studio를 실행한 뒤 상단의 Chat 탭으로 이동합니다.왼쪽에서 다운로드한 모델을 선택하고, 텍스트 입력창에 말을 걸면 바로 반응이 옵니다. 예를 들어 이렇게 입력해볼 수 있어요: 오늘 점심 뭐 먹을까? 추천해줘. 저는 Linkbricks Horizon-AI 모델을 기준으로 테스트해봤는데 로컬 실행인데도 반응이 꽤 빠르고 "볶음밥이나 국물 있는 라면 종류도 좋겠다”는 식으로 현실적인 추천을 해줍니다. 한글도 자연스럽게 처리돼서 꽤 만족스러웠어요. 실행환경은 CP..
이제 LM Studio도 설치가 끝났으니, 본격적으로 모델을 다운받고 실행해볼 차례입니다.이번 편에서는 모델을 어디서 찾고, 어떻게 받아서, 어떤 설정을 해야 작동하는지 알려드릴게요. 1. 모델은 어디서 다운받을까?LM Studio는 기본적으로 Hugging Face에 올라온 공개 모델들을 쉽게 검색하고 받아올 수 있게 되어 있어요. 처음엔 좀 낯설 수 있지만, 막상 해보면 꽤 편합니다.- LM Studio를 실행한 후 상단의 Model 탭을 클릭 검색창에 원하는 모델 이름을 입력 (예: mistral, llama3, phi2, koalpaca 등)처음에는 검색 결과가 안 나올 수도 있어요. 그럴 땐 검색창 아래쪽에 나오는 ‘Search more results for "llama"’ 버튼을 눌러주면 ..
1편에서 LM Studio가 뭔지 간단히 소개했었죠. 이번엔 직접 설치해서 써보는 단계로 넘어가 봅니다. 저도 윈도우 사용자라, 이 글은 Windows 기준으로 작성했어요. 맥도 설치는 되지만, 실사용은 윈도우가 메인입니다. 1. 설치 전 준비사항LM Studio는 내 컴퓨터에서 AI 모델을 직접 돌리는 프로그램이다 보니, 시스템 사양이 조금은 필요해요. 너무 낮은 사양이면 속도가 느릴 수 있습니다.최소 사양 가이드라인:운영체제: Windows 10 이상메모리(RAM): 8GB 이상 권장 (16GB 이상 추천)저장공간: 모델 파일 크기에 따라 최소 수 GB 필요그래픽카드(GPU): 필수는 아님 (CPU 기반 실행도 가능하나 느릴 수 있음)참고로 저는 CPU 기반으로도 충분히 테스트했는데, 작은 모델은 무..
요즘 ChatGPT나 Claude처럼 강력한 인공지능 도구들이 많은 관심을 받고 있습니다. 하지만 이들 대부분은 인터넷 연결이 필요하고, 우리가 입력한 내용이 서버로 전송되어 처리된다는 점에서 보안이나 프라이버시 문제를 걱정하는 분들도 많습니다. 이런 상황에서 등장한 것이 LM Studio입니다. LM Studio는 GPT와 같은 대형 언어 모델(LLM: Large Language Model)을 내 PC에서 직접 실행할 수 있게 해주는 로컬 기반 AI 플랫폼입니다.1. LM Studio란?LM Studio는 다양한 오픈소스 LLM 모델을 실행할 수 있도록 해주는 사용자 친화적인 데스크탑 앱입니다. 주로 Hugging Face에 공개된 다양한 모델을 내려받아 내 컴퓨터에서 직접 구동할 수 있으며, Mac과..