lee-hyeon-cheolandClaude Fable 5.1
7ad48732ae
Gemma4 가 '안녕' 한 단어에 94s(580 은 188s) 라 텍스트 기본으로는 못 씀. AAF_FABRIX_VISION_MODEL_ID 가 있으면 messages 에 image_url 파트가 있을 때만 그 모델로 x-llm-model-id 를 바꿈. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
1.1 KiB
1.1 KiB
FabriX 모델 성능 실측 (고객사 -12, 2026-09-17)
같은 질문("Explain ABAP LOOP AT in 3 sentences.") 스트림, CodeAssist 게이트웨이 우회해서 FabriX 직접 호출.
| id | 모델 | 첫 토큰 | 전체 | 청크 |
|---|---|---|---|---|
| 605 | Gemma4 | 1.8s | 33.9s | 304 |
| 339 | GaussO Flash | 0.2s | 1.9s | 149 |
| 581 | GaussO Think | 0.5s | 8.0s | 158 |
- 세 모델 다 같은 client key 로 열려 있음. 토큰은
Bearer접두 필수(날것은 401), 클라이언트 헤더는x-generative-ai-client·x-fabrix-client둘 다 됨. - Gemma4 는 토큰당 속도가 눈에 띄게 느림 → 텍스트 기본은 339, 이미지 있을 때만 605 로 보내는 게 맞음.
2차 (같은 날 저녁, "안녕" 한 단어)
| id | 모델 | 전체 |
|---|---|---|
| 339 | GaussO Flash | 0.7s |
| 605 | Gemma4 | 94.4s |
| 580 | Gemma4(다른 인스턴스) | 188.5s |
짧은 입력에 더 오래 걸림 → 출력 길이가 아니라 큐 대기/서빙 문제. 사용 불가 수준. FabriX 담당에 서빙 스펙 확인 요청.
대응: 기본 339, 이미지 붙은 요청만 605 (AAF_FABRIX_VISION_MODEL_ID, 게이트웨이 자동 분기).