CI / test (push) Has been cancelled
Plan v0.2'nin Faz 0 çıktısı. Yazılan sıraya göre:
- cobra tabanlı CLI iskeleti; server/agent/ctl komutları henüz stub.
- internal/sim: OpenAI uyumlu sahte inference engine. Router'ı GPU olmadan
gerçekçi koşullarda test edebilmek için gerçek bir engine'in router
açısından önemli davranışlarını modeller:
* continuous batching ve KV blok muhasebesi (head-of-line blocking dahil)
* zincirlenmiş blok hash'leri + LRU ile otomatik prefix cache
* batch büyüdükçe artan token gecikmesi
* istemci koptuğunda isteğin düşürülüp blokların bırakılması
* vLLM metrik adlarıyla /metrics (plan §7.6 engine kontratı)
- Testler: prefix hash zincirlemesi, LRU tahliyesi, iptal propagasyonu,
kuyruklama, SSE formatı, usage/cached_tokens, metriklerin gerçek
Prometheus parser'ıyla okunabilirliği.
- Gitea Actions CI: gofmt, vet, race detector.
Modül yolu gitea.mynodes.xyz/ilker/llmgw; `make rename` ile değiştirilebilir.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
38 lines
1.2 KiB
Go
38 lines
1.2 KiB
Go
package sim
|
||
|
||
import "hash/fnv"
|
||
|
||
// TokensPerChar, sahte tokenizer'ın kaç bayta bir token ürettiği.
|
||
// Gerçek BPE tokenizer'lara kaba bir yaklaşım; simülasyon için tek gereken
|
||
// deterministik ve prefix-kararlı olması.
|
||
const bytesPerToken = 4
|
||
|
||
// Token, sahte tokenizer'ın ürettiği token kimliği.
|
||
type Token uint32
|
||
|
||
// Tokenize, metni deterministik ve prefix-kararlı şekilde token'lara böler.
|
||
//
|
||
// Prefix-kararlılık kritik: aynı ön eke sahip iki metnin token dizileri de aynı
|
||
// ön ekle başlamalı, yoksa prefix cache simülasyonu anlamsız olur. Bu yüzden
|
||
// bölme, metnin başından itibaren sabit bayt sayısıyla yapılır — içeriğe bağlı
|
||
// (BPE gibi) bir bölme kullanılmaz.
|
||
func Tokenize(s string) []Token {
|
||
if s == "" {
|
||
return nil
|
||
}
|
||
n := (len(s) + bytesPerToken - 1) / bytesPerToken
|
||
out := make([]Token, 0, n)
|
||
for i := 0; i < len(s); i += bytesPerToken {
|
||
end := min(i+bytesPerToken, len(s))
|
||
h := fnv.New32a()
|
||
_, _ = h.Write([]byte(s[i:end]))
|
||
out = append(out, Token(h.Sum32()))
|
||
}
|
||
return out
|
||
}
|
||
|
||
// CountTokens, metnin token sayısını tokenize etmeden verir.
|
||
func CountTokens(s string) int {
|
||
return (len(s) + bytesPerToken - 1) / bytesPerToken
|
||
}
|