From 055f0ef4732952a215206606a40a29db272286e3 Mon Sep 17 00:00:00 2001 From: lee-hyeon-cheol Date: Fri, 18 Sep 2026 11:30:47 +0900 Subject: [PATCH] =?UTF-8?q?docs:=20FabriX=206=EA=B0=9C=20=EB=AA=A8?= =?UTF-8?q?=EB=8D=B8=203=EC=B0=A8=20=EC=8B=A4=EC=B8=A1=20=EC=B6=94?= =?UTF-8?q?=EA=B0=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Fable 5.1 --- docs/tech/fabrix-model-perf.md | 14 ++++++++++++++ z-my-docs/work-log/2026-09/2026-09-18.md | 1 + 2 files changed, 15 insertions(+) diff --git a/docs/tech/fabrix-model-perf.md b/docs/tech/fabrix-model-perf.md index 8a6d632..0b4e731 100644 --- a/docs/tech/fabrix-model-perf.md +++ b/docs/tech/fabrix-model-perf.md @@ -21,3 +21,17 @@ 짧은 입력에 더 오래 걸림 → 출력 길이가 아니라 **큐 대기/서빙 문제**. 사용 불가 수준. FabriX 담당에 서빙 스펙 확인 요청. 대응: 기본 339, 이미지 붙은 요청만 605 (`AAF_FABRIX_VISION_MODEL_ID`, 게이트웨이 자동 분기). + +## 3차 (9/18 오전, "안녕", 6개 모델, 첫 토큰/전체/청크) + +| id | 모델 | 첫 토큰 | 전체 | 청크 | +|---|---|---|---|---| +| 339 | GaussO Flash | 0.3s | 0.6s | 20 | +| 81 | GaussO | 0.3s | 1.0s | 52 | +| 10 | Gauss | 1.2s | 1.6s | 27 | +| 581 | GaussO Think (= GLM5.2) | 0.3s | 3.8s | 72 | +| 605 | Gemma4 31B (google-gemma-4-31b-it) | 28.9s | 114s | 323 | +| 580 | Gemma4 31B | 0.9s | 30.2s | 315 | + +- 580/605 가 측정마다 순위가 뒤집힘(2차 605 94s·580 188s → 3차 605 114s·580 30s) → 큐/서빙 편차. 모델 설정 문제 아님(추론 모드 off·max_tokens 로도 토큰당 0.4s 고정). +- Gauss 계열 멀티모달 여부 미확인(test.png 텍스트 추출 테스트 대기). diff --git a/z-my-docs/work-log/2026-09/2026-09-18.md b/z-my-docs/work-log/2026-09/2026-09-18.md index 674e0dc..a91f06b 100644 --- a/z-my-docs/work-log/2026-09/2026-09-18.md +++ b/z-my-docs/work-log/2026-09/2026-09-18.md @@ -3,3 +3,4 @@ | 시간 | 내용 | |------|------| | 10:34 | Gemma4 '안녕' 94s/188s 실측 → 기본 339 로, 이미지 붙은 요청만 605 로 가는 자동 분기(AAF_FABRIX_VISION_MODEL_ID) 게이트웨이에 추가 | +| 11:30 | FabriX 6개 모델 '안녕' 3차 실측 — Gauss 계열 전부 4s 이내, Gemma4 두 인스턴스 30s/114s 로 널뜀. 이사님 보고 슬라이드 프롬프트 작성 |