"""LLM 접속 점검 — Stage 3 를 돌리기 전에 규격(주소·헤더·body)이 맞는지 호출해 본다. python -m summarize.ping # .env 대로 호출. JSON 이 안 나오면 설정 조합을 바꿔가며 다시 시도 python -m summarize.ping --show # 보낼 주소·헤더(비밀값은 가림)·body 만 출력, 호출 안 함 python -m summarize.ping --real # 실제 Stage 3 프롬프트(조각 추출)로 호출 — 짧은 시험 프롬프트보다 확실 성공하면 모델 답(JSON)과 usage 를, 실패하면 HTTP 상태와 서버 응답 본문을 그대로 찍는다. 400 이면 대개 body 규격(response_format / model) 문제 → LLM_JSON_MODE=0, LLM_BODY_MODEL 조정. 401/403 이면 헤더(토큰·클라이언트키·이메일) 문제. 404 면 주소(LLM_BASE_URL + LLM_CHAT_PATH). JSON 이 안 나오면(모델이 인사말 등 평문으로 답하면) 아래 조합을 차례로 시도해 되는 것을 알려준다: 1) 그대로 2) LLM_MERGE_SYSTEM=1 (system 을 user 에 합침) 3) 2 + LLM_JSON_MODE=0 """ from __future__ import annotations import argparse import json import sys import time import urllib.error from config.settings import settings from summarize.llm_client import OpenAICompatClient, _extract_json SYSTEM = ("너는 ABAP 코드 분석 도구의 일부다. 답은 반드시 JSON 객체 하나만 출력한다. " "인사말·설명·코드펜스 없이 JSON 만 쓴다.") USER = ('[작업] ping\n아래 스키마 그대로 JSON 만 출력하라. 다른 문장은 쓰지 마라.\n' '{"ok": true, "model_says": "<짧은 인사 한 줄>"}') _SECRET_HEADERS = {"authorization", "x-openapi-token", "x-generative-ai-client"} def _mask(v: str) -> str: if len(v) <= 12: return "*" * len(v) return v[:8] + "…" + v[-4:] def _real_prompt() -> tuple[str, str]: """실제 조각 추출 프롬프트 한 벌 (DB 에 unit 이 있으면 첫 unit, 없으면 내장 샘플).""" from summarize import runner system = runner.SYSTEM_PROMPT if hasattr(runner, "SYSTEM_PROMPT") else SYSTEM try: from tests.test_llm_backends import UNIT_PROMPT_SAMPLE # 테스트가 쓰는 샘플 프롬프트 return system, UNIT_PROMPT_SAMPLE except Exception: # noqa: BLE001 return system, USER def _call(client: OpenAICompatClient, system: str, user: str) -> tuple[bool, str, dict]: """(JSON 파싱 성공?, 본문 또는 오류, raw) — HTTP 오류는 여기서 예외로 올린다.""" raw = client._post_once(system, user) try: content = raw["choices"][0]["message"]["content"] except (KeyError, IndexError, TypeError): return False, "응답 형태가 OpenAI 규격(choices[0].message.content)이 아닙니다: " + json.dumps(raw, ensure_ascii=False)[:1500], raw try: _extract_json(content) return True, content, raw except Exception: # noqa: BLE001 return False, content, raw def main() -> None: ap = argparse.ArgumentParser(description="LLM 접속 점검") ap.add_argument("--show", action="store_true", help="요청만 출력하고 호출하지 않음") ap.add_argument("--real", action="store_true", help="실제 Stage 3 프롬프트로 호출") args = ap.parse_args() try: client = OpenAICompatClient() except RuntimeError as e: print(f"설정 오류: {e}", file=sys.stderr) sys.exit(2) system, user = _real_prompt() if args.real else (SYSTEM, USER) headers = {k: (_mask(v) if k.lower() in _SECRET_HEADERS else v) for k, v in client.headers().items()} print(f"규격 : {client.provider}") print(f"주소 : {client.url}") print(f"헤더 : {json.dumps(headers, ensure_ascii=False)}") body = client.body(system, user) print(f"body : {json.dumps({k: v for k, v in body.items() if k != 'messages'}, ensure_ascii=False)}" f" messages={[m['role'] for m in body['messages']]}") if args.show: return # 시도 조합: (merge_system, json_mode). 첫 조합은 .env 그대로 base = (settings.llm_merge_system, settings.llm_json_mode) combos = [base] + [c for c in [(True, True), (True, False), (False, False)] if c != base] for i, (merge, jmode) in enumerate(combos, 1): settings.llm_merge_system, settings.llm_json_mode = merge, jmode label = f"LLM_MERGE_SYSTEM={int(merge)} LLM_JSON_MODE={int(jmode)}" print(f"\n[{i}/{len(combos)}] {label}" + (" (.env 그대로)" if i == 1 else "")) t0 = time.time() try: ok, text, raw = _call(client, system, user) except urllib.error.HTTPError as e: body_text = e.read().decode("utf-8", errors="replace") print(f" 실패 HTTP {e.code} ({int((time.time() - t0) * 1000)} ms) 서버 응답: {body_text[:800]}") if e.code in (401, 403, 404): sys.exit(1) # 헤더/주소 문제는 조합을 바꿔도 소용없다 continue except Exception as e: # noqa: BLE001 print(f" 실패 {type(e).__name__}: {e}") sys.exit(1) ms = int((time.time() - t0) * 1000) print(f" 응답 ({ms} ms): {text[:300].replace(chr(10), ' ')}") print(f" usage: {json.dumps(raw.get('usage') or {}, ensure_ascii=False)}") if ok: print(" JSON 파싱: OK") if i == 1: print("\n결론: 지금 .env 그대로 Stage 3 를 돌리면 된다.") else: print(f"\n결론: .env 에 다음 두 줄을 넣어라 (그 뒤 python -m summarize.ping 으로 재확인):\n" f" LLM_MERGE_SYSTEM={int(merge)}\n LLM_JSON_MODE={int(jmode)}") return print(" JSON 파싱: 실패 — 모델이 JSON 대신 평문으로 답했다") print("\n결론: 어떤 조합으로도 JSON 이 안 나온다. 위 응답을 그대로 전달하라 (모델 번호를 바꾸거나 프롬프트를 손봐야 한다).") sys.exit(1) if __name__ == "__main__": main()