Files
llmgw/internal/sim/tokens.go
T
ilkerandClaude Opus 5 e07bc46c57
CI / test (push) Has been cancelled
Faz 0: iskelet ve sim-engine
Plan v0.2'nin Faz 0 çıktısı. Yazılan sıraya göre:

- cobra tabanlı CLI iskeleti; server/agent/ctl komutları henüz stub.
- internal/sim: OpenAI uyumlu sahte inference engine. Router'ı GPU olmadan
  gerçekçi koşullarda test edebilmek için gerçek bir engine'in router
  açısından önemli davranışlarını modeller:
    * continuous batching ve KV blok muhasebesi (head-of-line blocking dahil)
    * zincirlenmiş blok hash'leri + LRU ile otomatik prefix cache
    * batch büyüdükçe artan token gecikmesi
    * istemci koptuğunda isteğin düşürülüp blokların bırakılması
    * vLLM metrik adlarıyla /metrics (plan §7.6 engine kontratı)
- Testler: prefix hash zincirlemesi, LRU tahliyesi, iptal propagasyonu,
  kuyruklama, SSE formatı, usage/cached_tokens, metriklerin gerçek
  Prometheus parser'ıyla okunabilirliği.
- Gitea Actions CI: gofmt, vet, race detector.

Modül yolu gitea.mynodes.xyz/ilker/llmgw; `make rename` ile değiştirilebilir.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-09-16 01:00:03 +02:00

38 lines
1.2 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package sim
import "hash/fnv"
// TokensPerChar, sahte tokenizer'ın kaç bayta bir token ürettiği.
// Gerçek BPE tokenizer'lara kaba bir yaklaşım; simülasyon için tek gereken
// deterministik ve prefix-kararlı olması.
const bytesPerToken = 4
// Token, sahte tokenizer'ın ürettiği token kimliği.
type Token uint32
// Tokenize, metni deterministik ve prefix-kararlı şekilde token'lara böler.
//
// Prefix-kararlılık kritik: aynı ön eke sahip iki metnin token dizileri de aynı
// ön ekle başlamalı, yoksa prefix cache simülasyonu anlamsız olur. Bu yüzden
// bölme, metnin başından itibaren sabit bayt sayısıyla yapılır — içeriğe bağlı
// (BPE gibi) bir bölme kullanılmaz.
func Tokenize(s string) []Token {
if s == "" {
return nil
}
n := (len(s) + bytesPerToken - 1) / bytesPerToken
out := make([]Token, 0, n)
for i := 0; i < len(s); i += bytesPerToken {
end := min(i+bytesPerToken, len(s))
h := fnv.New32a()
_, _ = h.Write([]byte(s[i:end]))
out = append(out, Token(h.Sum32()))
}
return out
}
// CountTokens, metnin token sayısını tokenize etmeden verir.
func CountTokens(s string) int {
return (len(s) + bytesPerToken - 1) / bytesPerToken
}