docs: FabriX 6개 모델 3차 실측 추가
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Fable 5.1
parent
7ad48732ae
commit
055f0ef473
@@ -21,3 +21,17 @@
|
|||||||
|
|
||||||
짧은 입력에 더 오래 걸림 → 출력 길이가 아니라 **큐 대기/서빙 문제**. 사용 불가 수준. FabriX 담당에 서빙 스펙 확인 요청.
|
짧은 입력에 더 오래 걸림 → 출력 길이가 아니라 **큐 대기/서빙 문제**. 사용 불가 수준. FabriX 담당에 서빙 스펙 확인 요청.
|
||||||
대응: 기본 339, 이미지 붙은 요청만 605 (`AAF_FABRIX_VISION_MODEL_ID`, 게이트웨이 자동 분기).
|
대응: 기본 339, 이미지 붙은 요청만 605 (`AAF_FABRIX_VISION_MODEL_ID`, 게이트웨이 자동 분기).
|
||||||
|
|
||||||
|
## 3차 (9/18 오전, "안녕", 6개 모델, 첫 토큰/전체/청크)
|
||||||
|
|
||||||
|
| id | 모델 | 첫 토큰 | 전체 | 청크 |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| 339 | GaussO Flash | 0.3s | 0.6s | 20 |
|
||||||
|
| 81 | GaussO | 0.3s | 1.0s | 52 |
|
||||||
|
| 10 | Gauss | 1.2s | 1.6s | 27 |
|
||||||
|
| 581 | GaussO Think (= GLM5.2) | 0.3s | 3.8s | 72 |
|
||||||
|
| 605 | Gemma4 31B (google-gemma-4-31b-it) | 28.9s | 114s | 323 |
|
||||||
|
| 580 | Gemma4 31B | 0.9s | 30.2s | 315 |
|
||||||
|
|
||||||
|
- 580/605 가 측정마다 순위가 뒤집힘(2차 605 94s·580 188s → 3차 605 114s·580 30s) → 큐/서빙 편차. 모델 설정 문제 아님(추론 모드 off·max_tokens 로도 토큰당 0.4s 고정).
|
||||||
|
- Gauss 계열 멀티모달 여부 미확인(test.png 텍스트 추출 테스트 대기).
|
||||||
|
|||||||
@@ -3,3 +3,4 @@
|
|||||||
| 시간 | 내용 |
|
| 시간 | 내용 |
|
||||||
|------|------|
|
|------|------|
|
||||||
| 10:34 | Gemma4 '안녕' 94s/188s 실측 → 기본 339 로, 이미지 붙은 요청만 605 로 가는 자동 분기(AAF_FABRIX_VISION_MODEL_ID) 게이트웨이에 추가 |
|
| 10:34 | Gemma4 '안녕' 94s/188s 실측 → 기본 339 로, 이미지 붙은 요청만 605 로 가는 자동 분기(AAF_FABRIX_VISION_MODEL_ID) 게이트웨이에 추가 |
|
||||||
|
| 11:30 | FabriX 6개 모델 '안녕' 3차 실측 — Gauss 계열 전부 4s 이내, Gemma4 두 인스턴스 30s/114s 로 널뜀. 이사님 보고 슬라이드 프롬프트 작성 |
|
||||||
|
|||||||
Reference in New Issue
Block a user