이제 모델도 설치하고 세팅까지 마쳤다면, 본격적으로 로컬 AI와 대화를 시작할 수 있어요.
이번 편에서는 실제로 어떻게 대화를 주고받는지, 또 좋은 답변을 얻기 위한 프롬프트 작성 팁까지 정리해봤습니다.
1. Chat 탭에서 대화 시작하기
LM Studio를 실행한 뒤 상단의 Chat 탭으로 이동합니다.
왼쪽에서 다운로드한 모델을 선택하고, 텍스트 입력창에 말을 걸면 바로 반응이 옵니다.
예를 들어 이렇게 입력해볼 수 있어요:
오늘 점심 뭐 먹을까? 추천해줘.
저는 Linkbricks Horizon-AI 모델을 기준으로 테스트해봤는데 로컬 실행인데도 반응이 꽤 빠르고 "볶음밥이나 국물 있는 라면 종류도 좋겠다”는 식으로 현실적인 추천을 해줍니다. 한글도 자연스럽게 처리돼서 꽤 만족스러웠어요.
실행환경은 CPU 라이젠 5800X, GPU GTX 3070 입니다. 엄청 고사양이 아님에도 정말 만족스러운 속도를 보여주네요
2. 로컬 AI로 할 수 있는 것들
간단한 대화는 물론이고, 글쓰기, 요약, 아이디어 정리, 코딩 질문까지 꽤 다양한 작업이 가능합니다.
활용 예시
- 문장 다듬기
“이 문장을 더 자연스럽게 고쳐줘: 저는 커피 마시고 운동했어요.” - 짧은 요약
“아래 글을 3줄로 요약해줘: (내용)” - 아이디어 추천
“유튜브 채널 이름 5개 추천해줘. 주제는 일상 브이로그야.” - 코딩 질문
“Python으로 현재 날짜 출력하는 코드 알려줘.”
한글 기반의 질문도 잘 받아들이고, 자연스러운 톤으로 대답해줘서 실제 활용 범위가 제법 넓겠다는 생각이 들었어요.
3. 실시간 정보는 알 수 있을까?
로컬 AI는 인터넷에 연결된 게 아니기 때문에 “오늘 날짜가 뭐야?”, “지금 코스피 지수 얼마야?” 같은 질문은 정확히 답하지 못합니다. 학습된 시점 기준으로 과거 정보를 말하거나, 그냥 모른다고 할 수도 있어요.
해결 방법
프롬프트에 직접 오늘 날짜나 배경 정보를 넣어주는 방식으로 우회할 수 있습니다.
오늘은 2025년 5월 11일이야. 이걸 기억하고 답변해줘.이런 식으로 맥락을 미리 알려주면, 날짜를 기억하고 답변을 해주긴 하지만 학습된 내용은 세션이 종료되면 잊어버리기 때문에 매번 셋팅해줘야 하는 번거로움이 있어요
하지만 날짜를 주입시킨 뒤 다시 날짜를 물어보니 엉뚱한 답변을 합니다. 아직 모델이 완벽하지 않은 문제로 봐야 겠네요
4. 프롬프트 작성 팁
프롬프트(입력 문장)를 어떻게 쓰느냐에 따라, 로컬 AI의 답변 품질이 확 달라집니다.
잘 통하는 프롬프트 예시
- 초등학생도 이해할 수 있게 설명해줘: 인공지능이란?
- 아래 내용을 표로 정리해줘. 각 항목은 한 줄씩 써줘. (내용)
- 이 문장을 더 부드럽게 바꿔줘. 블로그에 쓸 거야.
자주 하는 실수
- 너무 짧고 모호한 질문
- “검색해서 알려줘” → 로컬 모델은 웹 검색이 안 됩니다
- 배경 설명 없이 갑자기 묻기
팁: “무슨 역할로 대답해줘”라고 프롬프트에 적으면 AI가 해당 역할에 맞게 톤을 조정해줘요.
예: “너는 블로그 작가야. 아래 내용을 포스트 형식으로 써줘.”
5. 모델별 대화 스타일 차이
- 빠르고 가벼운 대화 → Phi-2, KoAlpaca
- 긴 글 생성, 요약 → Mistral, LLaMA3 계열
- 한국어 중심 대화 → Linkbricks Horizon-AI, SOLAR, Polyglot 등
저는 Linkbricks Horizon-AI의 8B 모델(Linkbricks-Horizon-AI-Korean-llama-3.1-sft-dpo-8B)을 사용했는데, 한글 응답이 매우 자연스럽고 문맥 처리 능력도 좋아서 블로그 글쓰기나 요약 용도로도 충분히 쓸 수 있겠다는 인상을 받았습니다.
마무리하며
LM Studio에서 로컬 AI와 대화해보면, 클라우드 기반 AI에 비해 느릴 줄 알았는데 생각보다 반응도 빠르고, 글 다듬기나 요약 같은 작업에서는 충분히 실용적이라는 느낌을 받았습니다. 특히 인터넷 없이도 작동한다는 점에서 프라이버시 측면이나 응답 속도 면에서 만족도가 높습니다.
다만 한 가지 아쉬운 점은, 로컬 모델들은 대부분 2023년 전후 시점까지의 정보만 학습되어 있어서 “오늘 뉴스는 뭐야?”, “지금 코스피 지수는 얼마야?”처럼 최신 정보에 대한 질문은 정확한 답을 주지 못한다는 점입니다. 검색 기반 AI처럼 바로 최신 뉴스를 반영하지는 못하지만, 외부에서 데이터를 수집해 모델에게 함께 전달하는 방식으로 어느 정도 보완할 수는 있습니다.
이런 한계를 이해하고 잘 활용한다면, 로컬 AI도 꽤 강력한 도구가 될 수 있습니다.