카탈로그
l
Monitoring
llm-model-checker
서비스 및 에이전트에 할당한 AI Model이 정상 동작되지 않을 경우 webhook을 통해 알람을 전달합니다.
제공: KBTdot
소개
서비스 및 에이전트에 할당한 AI Model이 정상 동작되지 않을 경우 webhook을 통해 알람을 전달합니다.
로컬 환경 또는 Self-host LLM을 운영하다 보면, 신·구 LLM 모델을 자주 갈아끼우는 과정에서 이미 다른 서비스(워크플로/챗봇/내부 도구)에서 사용 중이던 모델이 offload 되는 일이 종종 발생합니다. 이때 해당 서비스는 "존재하지 않는 모델" 에러를 받게 되고, 운영자는 누가·어디서·어떤 모델을 호출했는지 모른 채 장애 보고를 받게 됩니다.
LLM API Guard 는 OpenAI 호환 LLM 백엔드 앞단에 끼워 넣는 가벼운 reverse proxy로, 요청된 모델이 백엔드에 로딩/등록되어 있지 않으면 Google Chat Webhook 으로 즉시 알림을 보냅니다. 알림에는 호출자(API Key, Open WebUI 사용자, User-Agent, 유입 도메인, IP)까지 함께 담겨서, 관리자가 "어느 서비스의 어느 설정에서 모델명을 바꿔야 하는지" 바로 추적할 수 있습니다.