LM Studio로 LLM 모델들을 잘 구동시키고있는데요.

로컬에서의 잘되는데 외부에서도 쓰고싶어서 Open WebUI를 연동해봤습니다.

 

 

기본적으로 Ollama, ChatGPT와 궁합도 맞지만 LM Studio오 API 호환이 되어서 연결이 가능합니다.

 

LM Studio에서는 Server Port와 Serve on Local 를 켜주시면되고

 

 

Open WebUI에서는 관리자 설정에서 연결 -> Open AI API Connections에 IP:Port로 너

 

 

그리고 우측에 설정부분에서새로고침을해보면 연결이 잘 되는지 확인가능합니다.

 

 

그리고 다시 메인화면으로 가보면 모델을 선택할 수 있습니다.

 

 

마지막 Safe mode는 뭔지모르겠지만 ㅎ..

이상태에서 reverse proxy로 연결시켜놓으면 외부에서도 접근해서 gpt처럼 사용할 수 있습니다.