블로그

Jun 23, 2023

로컬에서 LLM을 실행하는 5가지 쉬운 방법

작성자: Sharon Machlis InfoWorld 데이터 및 분석 부문 편집장 | ChatGPT, Claude.ai, phind와 같은 챗봇은 매우 유용할 수 있지만 항상 질문이나 민감한 데이터를 원하지 않을 수도 있습니다.

샤론 맥클리스

InfoWorld 데이터 및 분석 편집장 |

ChatGPT, Claude.ai, phind와 같은 챗봇은 매우 유용할 수 있지만 항상 외부 애플리케이션에서 질문이나 민감한 데이터를 처리하는 것을 원하지 않을 수도 있습니다. 사람이 상호 작용을 검토하고 향후 모델을 훈련하는 데 사용할 수 있는 플랫폼에서는 특히 그렇습니다.

한 가지 해결책은 LLM(대형 언어 모델)을 다운로드하여 자신의 컴퓨터에서 실행하는 것입니다. 이렇게 하면 외부 회사가 귀하의 데이터에 접근할 수 없습니다. 이는 또한 Meta가 최근 발표한 코딩용으로 조정된 Code Llama 모델 제품군과 텍스트 음성 변환 및 언어 번역을 목표로 하는 SeamlessM4T와 같은 몇 가지 새로운 특수 모델을 시험해 볼 수 있는 빠른 옵션이기도 합니다.

자신만의 LLM을 운영하는 것은 복잡해 보일 수 있지만 올바른 도구를 사용하면 놀라울 정도로 쉽습니다. 그리고 많은 모델의 하드웨어 요구 사항은 그리 높지 않습니다. 저는 이 기사에 제시된 옵션을 두 가지 시스템, 즉 Intel i9 프로세서, 64GB RAM, Nvidia GeForce 12GB GPU(이 소프트웨어를 많이 실행하지 않았을 가능성이 높음)를 갖춘 Dell PC와 M1 칩을 탑재했지만 RAM은 16GB에 불과한 Mac입니다.

귀하의 작업에 합리적으로 잘 작동하고 데스크탑 하드웨어에서 실행되는 모델을 찾으려면 약간의 조사가 필요할 수 있습니다. 그리고 ChatGPT(특히 GPT-4) 또는 Claude.ai와 같은 도구에 익숙한 것만큼 좋은 것은 거의 없을 수도 있습니다. 명령줄 도구 LLM의 창시자인 Simon Willison은 지난주 프레젠테이션에서 응답이 잘못되더라도 로컬 모델을 실행하는 것이 가치가 있을 수 있다고 주장했습니다.

또한 오픈 소스 모델이 계속해서 개선될 가능성이 높으며 일부 업계 관찰자들은 오픈 소스 모델과 상용 리더 간의 격차가 줄어들 것으로 예상하고 있다는 점도 주목할 가치가 있습니다.

로컬에서 실행되고 다른 곳으로 데이터를 보내지 않는 챗봇을 원한다면 GPT4All은 설정하기 매우 쉬운 다운로드용 데스크톱 클라이언트를 제공합니다. 여기에는 자체 시스템에서 실행되는 모델에 대한 옵션이 포함되어 있으며 Windows, macOS 및 Ubuntu용 버전이 있습니다.

GPT4All 데스크톱 애플리케이션을 처음 열면 로컬에서 실행할 수 있는 약 10개(이 글을 쓰는 시점) 모델을 다운로드할 수 있는 옵션이 표시됩니다. 그중에는 Meta AI의 모델인 Llama-2-7B 채팅이 있습니다. API 키가 있는 경우 로컬이 아닌 용도로 OpenAI의 GPT-3.5 및 GPT-4(액세스 권한이 있는 경우)를 설정할 수도 있습니다.

GPT4All 인터페이스의 모델 다운로드 부분은 처음에는 약간 혼란스러웠습니다. 여러 모델을 다운로드한 후에도 모두 다운로드할 수 있는 옵션이 표시되었습니다. 이는 다운로드가 작동하지 않는다는 것을 의미합니다. 그런데 다운로드 경로를 확인해 보니 해당 모델이 있었습니다.

GPT4All의 모델 다운로드 인터페이스의 일부입니다. 애플리케이션의 사용 부분을 열면 다운로드한 모델이 자동으로 나타납니다.

모델이 설정되면 챗봇 인터페이스 자체가 깔끔하고 사용하기 쉽습니다. 편리한 옵션에는 채팅을 클립보드에 복사하고 응답을 생성하는 것이 포함됩니다.

GPT4All 채팅 인터페이스는 깨끗하고 사용하기 쉽습니다.

또한 자신의 문서를 로컬에서 "채팅"할 ​​수 있는 새로운 베타 LocalDocs 플러그인도 있습니다. 다음에서 활성화할 수 있습니다.설정 > 플러그인탭에는 "LocalDocs 플러그인(베타) 설정" 헤더와 특정 폴더 경로에 컬렉션을 생성하는 옵션이 표시됩니다.

플러그인은 진행 중인 작업이며 문서에서는 LLM이 추가된 전문가 정보에 액세스할 수 있는 경우에도 여전히 "환각"(만들기)할 수 있다고 경고합니다. 그럼에도 불구하고 이는 오픈 소스 모델의 성능이 향상됨에 따라 개선될 가능성이 있는 흥미로운 기능입니다.

GPT4All에는 챗봇 애플리케이션 외에도 Python, Node 및 명령줄 인터페이스(CLI)에 대한 바인딩도 있습니다. OpenAI와 매우 유사한 구조의 HTTP API를 통해 로컬 LLM과 상호 작용할 수 있는 서버 모드도 있습니다. 목표는 몇 줄의 코드를 변경하여 OpenAI용 로컬 LLM을 교체할 수 있도록 하는 것입니다.