Ollaya is een platform dat het lokaal draaien van beslissingsmodellen mogelijk maakt, wat resulteert in extreem lage latenties (tot 8-10 ms op een RTX 4090). In tegenstelling tot traditionele LLM's die tokens genereren, geven deze modellen antwoord in één enkele forward pass.
De belangrijkste kenmerken zijn:
- Modelondersteuning: Biedt toegang tot open-weights modellen zoals Laya, Decider, NLI en Gliclass.
- Compatibiliteit: De software is compatibel met de TypeSafe API en SDK.
- Privacy & Kosten: Omdat het lokaal draait op eigen hardware via ONNX Runtime, zijn er geen token-kosten en blijven gevoelige gegevens privé.
- Platformondersteuning: Beschikbaar voor macOS, Windows, Linux en Docker, met specifieke GPU-versnelling voor NVIDIA-kaarten via CUDA.
Ollaya — Beslissingsmodellen lokaal draaien
Snelheid
Beslissingen worden in milliseconden genomen. Een beslissingsmodel geeft antwoord in één enkele forward pass, zonder token-voor-token generatie. Op een eigen GPU duurt een verzoek met vijf vragen aan Laya ongeveer 10 ms, end-to-end via de HTTP API.
Latentievergelijking
| Model/Systeem | Latentie (mediaan) |
|---|
| Laya op Ollaya (RTX 4090, vijf vragen, end-to-end) | 8–10 ms |
| TypeSafe Jev (Hosted API, mediaan verzoek) | 236–276 ms |
Gemiddelde latentie per model via de HTTP API op een NVIDIA RTX 4090:
- laya:multilingual: 8,1 ms
- laya:en: 9,6 ms
- gliclass: 14,7 ms
- nli: 20,4 ms
- decider:0.8b: 155 ms
- decider:2b: 190 ms
Opmerking: Laya is gemeten in fp16, de andere in fp32. De data voor Jev is afkomstig uit benchmarks van derden (AbdelStark/jev-benchmarks, nibzard/decision-model-benchmark) en is inclusief netwerkverkeer. Vanwege verschillen in opstelling dient dit als een vergelijking in grootteorde.
Direct compatibel
Ollaya is compatibel met de API van TypeSafe. Ollaya serveert /v1/systemone en /v1/models met de request- en response-structuren van TypeSafe. De officiële TypeSafe Python SDK 0.7.1 werkt ongewijzigd met een lokale server.
Voorbeeld: Verzoek
# Richt de TypeSafe SDK op Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # elke waarde werkt
export TYPESAFE_DEFAULT_MODEL=laya
# ...of roep het compatibele endpoint direct aan
curl http://localhost:11435/v1/systemone -d '{
"model": "laya",
"state": "Kan ik een factuur krijgen voor vorige maand?",
"questions": {
"intent": {
"type": "choice",
"instructions": "Wat wil de klant?",
"criteria": {
"invoice": "Heeft een factuur of bonnetje nodig",
"refund": "Wil geld terug",
"other": "Alles overig"
}
}
}
}'
Voorbeeld: Respons
{
"model": "laya:en",
"answers": {
"intent": {
"type": "choice",
"choice": "invoice",
"confidence": 0.9547,
"probabilities": {
"invoice": 0.9698,
"refund": 0.0172,
"other": 0.013
}
}
},
"usage": {
"input_tokens": 43,
"output_tokens": 0
}
}
Open modellen
Ollaya biedt toegang tot open-weights modellen die direct gedownload kunnen worden:
- Laya (Convai Innovations): Beslissingsmodellen die gekalibreerde antwoorden geven op keuze-, score- en ja/nee-vragen in één forward pass. Beschikbaar in het Engels en in meer dan 100 talen. (322m · 421m)
- Decider (Mapika op Qwen3.5): Decoder-beslissingsmodellen waarbij het antwoord wordt gelezen uit option-letter logits. Dit is het meest accurate open beslissingsmodel dat Ollaya levert. (0.75b · 1.9b)
- NLI (Moritz Laurer): Zero-shot classifiers waarbij elke optie een hypothese wordt die wordt gescoord op entailment. In tests het meest accurate encoder-model voor gestructureerde beslissingen. (396m · 435m)
- Gliclass (Knowledgator): Een instruction-following zero-shot classifier. Alle opties van een vraag worden in één pass gescoord, waardoor de kosten nauwelijks stijgen bij meer opties. (439m)
Toekomstige uitbreidingen: Er zijn meer open beslissingsmodellen gepland, waaronder von en GGUF LLM-gebaseerde beslissingsmodellen via llama.cpp.
Privacy en Gegevensbeheer
Ollaya is standaard privé. Tickets, e-mails en gebruikersberichten zijn vaak gevoelige gegevens; met Ollaya worden deze gescoord op de plek waar ze al worden opgeslagen.
- Lokaal: Draait op je eigen machine met ONNX Runtime, op de CPU of een NVIDIA GPU. De server luistert standaard op 127.0.0.1.
- Open weights: Weights zijn afkomstig uit de Hugging Face-repositories van de auteurs, vastgelegd op een commit en gecontroleerd via sha256. Ollaya host deze nooit zelf en de runtime is Apache-2.0.
- Geen kosten per token: Draai zoveel beslissingen als je hardware aankan, zonder metering of API-rekeningen.
- Gekalibreerd: Probabiliteiten waar je drempelwaarden op kunt instellen. De kalibratiefout (ECE) van Laya is 0.081 na temperature fitting, tegenover 0.246 voor Jev.
Platformondersteuning
Ollaya is beschikbaar als desktop-app en command-line interface voor macOS, Windows en Linux, evenals een Docker-image voor servers. Elk model draait op de CPU; een NVIDIA GPU (op Linux, in WSL 2 of in Docker) brengt de responstijd terug naar milliseconden.
| Platform | Desktop app | Command line | GPU ondersteuning |
|---|
| macOS (Apple silicon) | Menu bar app.dmg | Install script | CPU only |
| Windows (10/11, x64) | Desktop app.exe / .msi | PowerShell script | NVIDIA via WSL 2 / CPU |
| Linux (x86-64) | AppImage, .deb, .rpm | Install script / systemd | NVIDIA, CUDA 13 / CPU |
| Linux (ARM64) | Niet beschikbaar | Install script / systemd | CPU only |
| WSL 2 (Linux op Windows) | Niet beschikbaar | Install script | NVIDIA, CUDA 13 / CPU |
| Docker (amd64 / arm64) | Niet beschikbaar | Image on GHCR | NVIDIA, CUDA 13 (amd64) / CPU |
Technische vereisten:
- NVIDIA GPU's vereisen driver R580 of nieuwer; de installers downloaden de CUDA-libraries alleen wanneer er een GPU wordt gevonden.
- Op Apple, AMD en Intel GPU's draaien de modellen op de CPU.
Installatie
Je kunt binnen enkele minuten aan de slag. Eén binary, één commando: ollaya run laya
Ollaya — Beslissingsmodellen lokaal draaien
Snelheid
Beslissingen worden in milliseconden genomen. Een beslissingsmodel geeft antwoord in één enkele forward pass, zonder token-voor-token generatie. Op een eigen GPU duurt een verzoek met vijf vragen aan Laya ongeveer 10 ms, end-to-end via de HTTP API.
Latentievergelijking
| Model/Systeem | Latentie (mediaan) |
|---|
| Laya op Ollaya (RTX 4090, vijf vragen, end-to-end) | 8–10 ms |
| TypeSafe Jev (Hosted API, mediaan verzoek) | 236–276 ms |
Gemiddelde latentie per model via de HTTP API op een NVIDIA RTX 4090:
- laya:multilingual: 8,1 ms
- laya:en: 9,6 ms
- gliclass: 14,7 ms
- nli: 20,4 ms
- decider:0.8b: 155 ms
- decider:2b: 190 ms
Opmerking: Laya is gemeten in fp16, de andere in fp32. De data voor Jev is afkomstig uit benchmarks van derden (AbdelStark/jev-benchmarks, nibzard/decision-model-benchmark) en is inclusief netwerkverkeer. Vanwege verschillen in opstelling dient dit als een vergelijking in grootteorde.
Direct compatibel
Ollaya is compatibel met de API van TypeSafe. Ollaya serveert /v1/systemone en /v1/models met de request- en response-structuren van TypeSafe. De officiële TypeSafe Python SDK 0.7.1 werkt ongewijzigd met een lokale server.
Voorbeeld: Verzoek
# Richt de TypeSafe SDK op Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # elke waarde werkt
export TYPESAFE_DEFAULT_MODEL=laya
# ...of roep het compatibele endpoint direct aan
curl http://localhost:11435/v1/systemone -d '{
"model": "laya",
"state": "Kan ik een factuur krijgen voor vorige maand?",
"questions": {
"intent": {
"type": "choice",
"instructions": "Wat wil de klant?",
"criteria": {
"invoice": "Heeft een factuur of bonnetje nodig",
"refund": "Wil geld terug",
"other": "Alles overig"
}
}
}
}'
Voorbeeld: Respons
{
"model": "laya:en",
"answers": {
"intent": {
"type": "choice",
"choice": "invoice",
"confidence": 0.9547,
"probabilities": {
"invoice": 0.9698,
"refund": 0.0172,
"other": 0.013
}
}
},
"usage": {
"input_tokens": 43,
"output_tokens": 0
}
}
Open modellen
Ollaya biedt toegang tot open-weights modellen die direct gedownload kunnen worden:
- Laya (Convai Innovations): Beslissingsmodellen die gekalibreerde antwoorden geven op keuze-, score- en ja/nee-vragen in één forward pass. Beschikbaar in het Engels en in meer dan 100 talen. (322m · 421m)
- Decider (Mapika op Qwen3.5): Decoder-beslissingsmodellen waarbij het antwoord wordt gelezen uit option-letter logits. Dit is het meest accurate open beslissingsmodel dat Ollaya levert. (0.75b · 1.9b)
- NLI (Moritz Laurer): Zero-shot classifiers waarbij elke optie een hypothese wordt die wordt gescoord op entailment. In tests het meest accurate encoder-model voor gestructureerde beslissingen. (396m · 435m)
- Gliclass (Knowledgator): Een instruction-following zero-shot classifier. Alle opties van een vraag worden in één pass gescoord, waardoor de kosten nauwelijks stijgen bij meer opties. (439m)
Toekomstige uitbreidingen: Er zijn meer open beslissingsmodellen gepland, waaronder von en GGUF LLM-gebaseerde beslissingsmodellen via llama.cpp.
Privacy en Gegevensbeheer
Ollaya is standaard privé. Tickets, e-mails en gebruikersberichten zijn vaak gevoelige gegevens; met Ollaya worden deze gescoord op de plek waar ze al worden opgeslagen.
- Lokaal: Draait op je eigen machine met ONNX Runtime, op de CPU of een NVIDIA GPU. De server luistert standaard op 127.0.0.1.
- Open weights: Weights zijn afkomstig uit de Hugging Face-repositories van de auteurs, vastgelegd op een commit en gecontroleerd via sha256. Ollaya host deze nooit zelf en de runtime is Apache-2.0.
- Geen kosten per token: Draai zoveel beslissingen als je hardware aankan, zonder metering of API-rekeningen.
- Gekalibreerd: Probabiliteiten waar je drempelwaarden op kunt instellen. De kalibratiefout (ECE) van Laya is 0.081 na temperature fitting, tegenover 0.246 voor Jev.
Platformondersteuning
Ollaya is beschikbaar als desktop-app en command-line interface voor macOS, Windows en Linux, evenals een Docker-image voor servers. Elk model draait op de CPU; een NVIDIA GPU (op Linux, in WSL 2 of in Docker) brengt de responstijd terug naar milliseconden.
| Platform | Desktop app | Command line | GPU ondersteuning |
|---|
| macOS (Apple silicon) | Menu bar app.dmg | Install script | CPU only |
| Windows (10/11, x64) | Desktop app.exe / .msi | PowerShell script | NVIDIA via WSL 2 / CPU |
| Linux (x86-64) | AppImage, .deb, .rpm | Install script / systemd | NVIDIA, CUDA 13 / CPU |
| Linux (ARM64) | Niet beschikbaar | Install script / systemd | CPU only |
| WSL 2 (Linux op Windows) | Niet beschikbaar | Install script | NVIDIA, CUDA 13 / CPU |
| Docker (amd64 / arm64) | Niet beschikbaar | Image on GHCR | NVIDIA, CUDA 13 (amd64) / CPU |
Technische vereisten:
- NVIDIA GPU's vereisen driver R580 of nieuwer; de installers downloaden de CUDA-libraries alleen wanneer er een GPU wordt gevonden.
- Op Apple, AMD en Intel GPU's draaien de modellen op de CPU.
Installatie
Je kunt binnen enkele minuten aan de slag. Eén binary, één commando: ollaya run laya
Groetjes,