diff --git a/docs/tech/fabrix-model-perf.md b/docs/tech/fabrix-model-perf.md index 8a6d632..0b4e731 100644 --- a/docs/tech/fabrix-model-perf.md +++ b/docs/tech/fabrix-model-perf.md @@ -21,3 +21,17 @@ 짧은 입력에 더 오래 걸림 → 출력 길이가 아니라 **큐 대기/서빙 문제**. 사용 불가 수준. FabriX 담당에 서빙 스펙 확인 요청. 대응: 기본 339, 이미지 붙은 요청만 605 (`AAF_FABRIX_VISION_MODEL_ID`, 게이트웨이 자동 분기). + +## 3차 (9/18 오전, "안녕", 6개 모델, 첫 토큰/전체/청크) + +| id | 모델 | 첫 토큰 | 전체 | 청크 | +|---|---|---|---|---| +| 339 | GaussO Flash | 0.3s | 0.6s | 20 | +| 81 | GaussO | 0.3s | 1.0s | 52 | +| 10 | Gauss | 1.2s | 1.6s | 27 | +| 581 | GaussO Think (= GLM5.2) | 0.3s | 3.8s | 72 | +| 605 | Gemma4 31B (google-gemma-4-31b-it) | 28.9s | 114s | 323 | +| 580 | Gemma4 31B | 0.9s | 30.2s | 315 | + +- 580/605 가 측정마다 순위가 뒤집힘(2차 605 94s·580 188s → 3차 605 114s·580 30s) → 큐/서빙 편차. 모델 설정 문제 아님(추론 모드 off·max_tokens 로도 토큰당 0.4s 고정). +- Gauss 계열 멀티모달 여부 미확인(test.png 텍스트 추출 테스트 대기). diff --git a/z-my-docs/work-log/2026-09/2026-09-18.md b/z-my-docs/work-log/2026-09/2026-09-18.md index 674e0dc..a91f06b 100644 --- a/z-my-docs/work-log/2026-09/2026-09-18.md +++ b/z-my-docs/work-log/2026-09/2026-09-18.md @@ -3,3 +3,4 @@ | 시간 | 내용 | |------|------| | 10:34 | Gemma4 '안녕' 94s/188s 실측 → 기본 339 로, 이미지 붙은 요청만 605 로 가는 자동 분기(AAF_FABRIX_VISION_MODEL_ID) 게이트웨이에 추가 | +| 11:30 | FabriX 6개 모델 '안녕' 3차 실측 — Gauss 계열 전부 4s 이내, Gemma4 두 인스턴스 30s/114s 로 널뜀. 이사님 보고 슬라이드 프롬프트 작성 |