PS5LM is een softwareproject dat llama.cpp naar de PlayStation 5 brengt, waardoor de console kan fungeren als een lokale server voor grote taalmodellen (LLM's).
Belangrijkste kenmerken:
- Hardware-acceleratie: De software maakt gebruik van de RDNA 2 GPU via de Vulkan-backend, waarbij tot 11,4 GB aan gedeeld geheugen wordt benut voor modellen en context.
- Connectiviteit: Het biedt OpenAI- en Anthropic-compatibele API's, waardoor externe apparaten op hetzelfde netwerk de console als server kunnen gebruiken. Daarnaast is er een web-interface en een specifieke interface voor de televisie.
- Functionaliteit: Naast standaard chatmodellen ondersteunt PS5LM 'beslissingsmodellen' (via de
/v1/systemone API) en beeldherkenning voor modellen met een image projector.
- Beheer: De applicatie bevat tools voor het monitoren van systeemwaarden (temperatuur, stroomverbruik) en het direct downloaden van modellen vanaf Hugging Face.
Installatie: De software vereist een gejailbreakte PS5 met firmware tussen 7.00 en 13.60 en specifieke payloads zoals kstuff-lite en etaHEN.
PS5LM: llama.cpp op een gejailbreakte PS5
Het project brengt llama.cpp naar de GPU van de console, inclusief OpenAI- en Anthropic-API's en een interface die speciaal is ontworpen voor de televisie.
Wat is PS5LM?
PS5LM is bedoeld voor iedereen met een gejailbreakte PS5 die thuis een private modelserver wil hebben. Het laadt een GGUF-model in het GPU-geheugen van de console en stelt dit beschikbaar voor je laptop, telefoon en programmeertools. Tijdens het gebruik is er geen pc, cloudverbinding of account nodig.
Belangrijkste kenmerken
GPU-acceleratie
De software draait op de GPU via de Vulkan-backend van llama.cpp op de RDNA 2 GPU van de console. Hierbij wordt 11,4 GB van het gedeelde geheugen gebruikt voor het model en de context. Alle architecturen en quantisaties die door llama.cpp worden ondersteund, zijn compatibel.
Netwerkfunctionaliteit
Het systeem reageert op netwerkverzoeken via:
- OpenAI's
/v1/chat/completions
- Anthropic's
/v1/messages (waardoor Claude Code ermee kan werken)
- Een chatpagina toegankelijk via elke browser
Door een client te richten op http://<console>:8081 en een willekeurige modelnaam te gebruiken, zal het geladen model antwoorden.
Beslissingsmodellen
Naast taalmodellen kan PS5LM beslissingsmodellen laden. De console beantwoordt dan TypeSafe's /v1/systemone API: keuzes, scores en ja/nee-vragen over tekst en afbeeldingen. Dit is dezelfde API die Ollaya op een pc verzorgt.
Interface op de TV
Alle verzoeken worden als een chat op de televisie gestreamd: welk apparaat er een vraag stelde, wat de vraag was en het antwoord terwijl dit wordt gegenereerd. De 'Square'-knop verzendt een demo-verzoek en de 'Triangle'-knop opent een toetsenbord, zodat de console vanaf de bank bediend kan worden.
Console-monitoring
Een specifieke Console-pagina brengt de temperatuur, het stroomverbruik en de GPU- en CPU-belasting in kaart over de laatste twee minuten of het laatste uur, aangevuld met een tabel van alle meetwaarden.
Modelbeheer
De planner analyseert elk GGUF-bestand en wijst de langste context en de beste cache toe die in het beschikbare geheugen passen. Een 'Suggested'-lijst bevat modellen die op de console zijn gemeten. De app kan modellen zelfstandig downloaden van Hugging Face naar de interne opslag, een M.2-schijf of een USB-stick.
Beeldherkenning
Modellen met een image projector (zoals Gemma 4, MiniCPM-V, d1) kunnen afbeeldingen verwerken in zowel chats als beslissingsprocessen.
Prestaties
| Model | Grootte | Op een PS5 Slim |
|---|
| Qwen 3.5 0.8B, Q4KM | 0.5 GB | 207 tokens per seconde |
| Qwen 3.5 9B, Q4KM | 5.3 GB | 55 tokens per seconde |
| Qwen 3.8 27B, UD-Q2KXL | 9.2 GB | ca. 20 tokens per seconde, 64k context |
| d1 Omni 600M (beslissingsmodel) | 1.1 GB | 3 vragen in 0.3 s; een 720p afbeelding en 7 vragen in 2.9 s |
Beslissingsmodellen via Ollaya
Ollaya draait open beslissingsmodellen op een pc op dezelfde manier als Ollama taalmodellen draait. PS5LM brengt dit concept naar de console: een beslissingsmodel leest een status en beantwoordt getypeerde vragen in één 'forward pass', zonder dat er tekst wordt gegenereerd.
Voorbeeld van een API-aanroep:
curl http://<console>:8081/v1/systemone -H 'Content-Type: application/json' -d '{
"state": "I was charged twice this month. Refund me or I cancel.",
"questions": {
"intent": {"type": "choice", "instructions": "What does the customer want?",
"criteria": {"refund": null, "information": null, "cancel": null}},
"angry": {"type": "noul", "instructions": "Is the customer angry?"}
}
}'
In de 'Suggested'-lijst staan d1 Omni 600M, d1 3B en Clef Flash. Elk GGUF-bestand dat de beslissingsmetadata van llama.cpp bevat, kan op dezelfde manier worden geladen.
Installatie en gebruik
Vereisten
Je hebt een PS5 nodig met firmware 7.00 tot 13.60, die gejailbreakt is en waar de volgende payloads zijn geladen:
| Payload | Doel | Status |
|---|
| kstuff-lite | Kernel patches voor homebrew | Verplicht |
| etaHEN | Homebrew support | Verplicht |
| ShadowMountPlus | Plaats PS5LM op het startscherm vanuit /data/homebrew | Verplicht |
| elfldr (poort 9021) | Temperatuur, stroom en actuele vrije ruimte via ps5-exporter | Aanbevolen |
| ftpsrv (poort 2121) | Installeren van de app, kopiëren van modellen vanaf pc | Aanbevolen |
Stappenplan
- Download
ps5lm-app-vX.Y.Z.zip vanuit de nieuwste release en pak dit uit.
- Kopieer de map
PPSA99575 via FTP naar /data/homebrew. ShadowMountPlus voegt PS5LM vervolgens toe aan het startscherm.
- Open PS5LM, ga naar Models > Suggested en download een model. Je kunt ook handmatig een
.gguf bestand kopiëren naar /data/PS5LM/models of naar PS5LM/models op een USB-stick.
- Laad het model. Zodra de Home-pagina "Ready" aangeeft, open je
http://<console>:8081 in een browser of richt je jouw OpenAI- of Anthropic-client op dit adres.
Om te updaten kopieer je de nieuwe map over de oude. Instellingen, modellen en downloads blijven bewaard in /data/PS5LM.
Bediening
| Locatie | Knop | Functie |
|---|
| Overal | L1 / R1 | Wisselen tussen Home, Models, API, Console, Settings |
| Home | Kruis (Cross) | Model wijzigen |
| Home | Vierkant / Driehoek | Demo-verzoek verzenden / Bericht typen |
| Models | D-pad, Kruis | Sectie en model kiezen; laden, uitladen of downloaden |
| Models, Search | L2 / R2, Vierkant | Zoekopdracht wijzigen; controleren of een bestand past |
| Models, Downloads | Kruis, Vierkant | Pauzeren of hervatten; annuleren (twee keer drukken) of wissen |
| Console | L2 / R2 | Bekijk de laatste twee minuten / het laatste uur |
| Settings | D-pad, Kruis | Categorie en regel kiezen; schakelaar omzetten of item uit lijst kiezen |
| Settings, Diagnostics | Vierkant, Driehoek | App- of serverlog bekijken; alleen fouten |
Technische details
Het project is gebouwd met C++ op ps5-homebrew-ui, gebruikmakend van llama.cpp met ggml-vulkan op de RADV van PS5_Vulkan, gecompileerd op Linux.
Credits en Licentie
Dankbetuigingen
- abhi245y, die de native GPU-app bouwde waar dit project op is voortgebouwd (PS5LM Plus).
- llama.cpp en ggml, voor het eigenlijke werk.
- Mihawk-99 voor PS5_Vulkan en RADV op de PS5, en PS5CEMU-HAR voor de driver patches in
patches/mesa.
- BlackBearReloaded voor
ps5-homebrew-ui, ps5-opengl en ps5-homebrew-dev-protocol, en John Törnblom voor de SDK.
- Marice voor
ps5-exporter, die in de app is opgenomen.
- Manrope (OFL) voor het lettertype en PocketVibe voor de interface-geluiden.
Juridische informatie
De software is gelicenseerd onder GPL-3.0-or-later. llama.cpp behoudt de MIT-licentie en Manrope de OFL-licentie. Er zijn geen Sony SDK-bestanden, sleutels, firmware of modelgewichten opgenomen in deze repository.
PS5LM is niet gelieerd aan Sony Interactive Entertainment. "PlayStation" en "PS5" zijn handelsmerken van Sony Interactive Entertainment.
PS5LM: llama.cpp op een gejailbreakte PS5
Het project brengt llama.cpp naar de GPU van de console, inclusief OpenAI- en Anthropic-API's en een interface die speciaal is ontworpen voor de televisie.
Wat is PS5LM?
PS5LM is bedoeld voor iedereen met een gejailbreakte PS5 die thuis een private modelserver wil hebben. Het laadt een GGUF-model in het GPU-geheugen van de console en stelt dit beschikbaar voor je laptop, telefoon en programmeertools. Tijdens het gebruik is er geen pc, cloudverbinding of account nodig.
Belangrijkste kenmerken
GPU-acceleratie
De software draait op de GPU via de Vulkan-backend van llama.cpp op de RDNA 2 GPU van de console. Hierbij wordt 11,4 GB van het gedeelde geheugen gebruikt voor het model en de context. Alle architecturen en quantisaties die door llama.cpp worden ondersteund, zijn compatibel.
Netwerkfunctionaliteit
Het systeem reageert op netwerkverzoeken via:
- OpenAI's
/v1/chat/completions
- Anthropic's
/v1/messages (waardoor Claude Code ermee kan werken)
- Een chatpagina toegankelijk via elke browser
Door een client te richten op http://<console>:8081 en een willekeurige modelnaam te gebruiken, zal het geladen model antwoorden.
Beslissingsmodellen
Naast taalmodellen kan PS5LM beslissingsmodellen laden. De console beantwoordt dan TypeSafe's /v1/systemone API: keuzes, scores en ja/nee-vragen over tekst en afbeeldingen. Dit is dezelfde API die Ollaya op een pc verzorgt.
Interface op de TV
Alle verzoeken worden als een chat op de televisie gestreamd: welk apparaat er een vraag stelde, wat de vraag was en het antwoord terwijl dit wordt gegenereerd. De 'Square'-knop verzendt een demo-verzoek en de 'Triangle'-knop opent een toetsenbord, zodat de console vanaf de bank bediend kan worden.
Console-monitoring
Een specifieke Console-pagina brengt de temperatuur, het stroomverbruik en de GPU- en CPU-belasting in kaart over de laatste twee minuten of het laatste uur, aangevuld met een tabel van alle meetwaarden.
Modelbeheer
De planner analyseert elk GGUF-bestand en wijst de langste context en de beste cache toe die in het beschikbare geheugen passen. Een 'Suggested'-lijst bevat modellen die op de console zijn gemeten. De app kan modellen zelfstandig downloaden van Hugging Face naar de interne opslag, een M.2-schijf of een USB-stick.
Beeldherkenning
Modellen met een image projector (zoals Gemma 4, MiniCPM-V, d1) kunnen afbeeldingen verwerken in zowel chats als beslissingsprocessen.
Prestaties
| Model | Grootte | Op een PS5 Slim |
|---|
| Qwen 3.5 0.8B, Q4KM | 0.5 GB | 207 tokens per seconde |
| Qwen 3.5 9B, Q4KM | 5.3 GB | 55 tokens per seconde |
| Qwen 3.8 27B, UD-Q2KXL | 9.2 GB | ca. 20 tokens per seconde, 64k context |
| d1 Omni 600M (beslissingsmodel) | 1.1 GB | 3 vragen in 0.3 s; een 720p afbeelding en 7 vragen in 2.9 s |
Beslissingsmodellen via Ollaya
Ollaya draait open beslissingsmodellen op een pc op dezelfde manier als Ollama taalmodellen draait. PS5LM brengt dit concept naar de console: een beslissingsmodel leest een status en beantwoordt getypeerde vragen in één 'forward pass', zonder dat er tekst wordt gegenereerd.
Voorbeeld van een API-aanroep:
curl http://<console>:8081/v1/systemone -H 'Content-Type: application/json' -d '{
"state": "I was charged twice this month. Refund me or I cancel.",
"questions": {
"intent": {"type": "choice", "instructions": "What does the customer want?",
"criteria": {"refund": null, "information": null, "cancel": null}},
"angry": {"type": "noul", "instructions": "Is the customer angry?"}
}
}'
In de 'Suggested'-lijst staan d1 Omni 600M, d1 3B en Clef Flash. Elk GGUF-bestand dat de beslissingsmetadata van llama.cpp bevat, kan op dezelfde manier worden geladen.
Installatie en gebruik
Vereisten
Je hebt een PS5 nodig met firmware 7.00 tot 13.60, die gejailbreakt is en waar de volgende payloads zijn geladen:
| Payload | Doel | Status |
|---|
| kstuff-lite | Kernel patches voor homebrew | Verplicht |
| etaHEN | Homebrew support | Verplicht |
| ShadowMountPlus | Plaats PS5LM op het startscherm vanuit /data/homebrew | Verplicht |
| elfldr (poort 9021) | Temperatuur, stroom en actuele vrije ruimte via ps5-exporter | Aanbevolen |
| ftpsrv (poort 2121) | Installeren van de app, kopiëren van modellen vanaf pc | Aanbevolen |
Stappenplan
- Download
ps5lm-app-vX.Y.Z.zip vanuit de nieuwste release en pak dit uit.
- Kopieer de map
PPSA99575 via FTP naar /data/homebrew. ShadowMountPlus voegt PS5LM vervolgens toe aan het startscherm.
- Open PS5LM, ga naar Models > Suggested en download een model. Je kunt ook handmatig een
.gguf bestand kopiëren naar /data/PS5LM/models of naar PS5LM/models op een USB-stick.
- Laad het model. Zodra de Home-pagina "Ready" aangeeft, open je
http://<console>:8081 in een browser of richt je jouw OpenAI- of Anthropic-client op dit adres.
Om te updaten kopieer je de nieuwe map over de oude. Instellingen, modellen en downloads blijven bewaard in /data/PS5LM.
Bediening
| Locatie | Knop | Functie |
|---|
| Overal | L1 / R1 | Wisselen tussen Home, Models, API, Console, Settings |
| Home | Kruis (Cross) | Model wijzigen |
| Home | Vierkant / Driehoek | Demo-verzoek verzenden / Bericht typen |
| Models | D-pad, Kruis | Sectie en model kiezen; laden, uitladen of downloaden |
| Models, Search | L2 / R2, Vierkant | Zoekopdracht wijzigen; controleren of een bestand past |
| Models, Downloads | Kruis, Vierkant | Pauzeren of hervatten; annuleren (twee keer drukken) of wissen |
| Console | L2 / R2 | Bekijk de laatste twee minuten / het laatste uur |
| Settings | D-pad, Kruis | Categorie en regel kiezen; schakelaar omzetten of item uit lijst kiezen |
| Settings, Diagnostics | Vierkant, Driehoek | App- of serverlog bekijken; alleen fouten |
Technische details
Het project is gebouwd met C++ op ps5-homebrew-ui, gebruikmakend van llama.cpp met ggml-vulkan op de RADV van PS5_Vulkan, gecompileerd op Linux.
Credits en Licentie
Dankbetuigingen
- abhi245y, die de native GPU-app bouwde waar dit project op is voortgebouwd (PS5LM Plus).
- llama.cpp en ggml, voor het eigenlijke werk.
- Mihawk-99 voor PS5_Vulkan en RADV op de PS5, en PS5CEMU-HAR voor de driver patches in
patches/mesa.
- BlackBearReloaded voor
ps5-homebrew-ui, ps5-opengl en ps5-homebrew-dev-protocol, en John Törnblom voor de SDK.
- Marice voor
ps5-exporter, die in de app is opgenomen.
- Manrope (OFL) voor het lettertype en PocketVibe voor de interface-geluiden.
Juridische informatie
De software is gelicenseerd onder GPL-3.0-or-later. llama.cpp behoudt de MIT-licentie en Manrope de OFL-licentie. Er zijn geen Sony SDK-bestanden, sleutels, firmware of modelgewichten opgenomen in deze repository.
PS5LM is niet gelieerd aan Sony Interactive Entertainment. "PlayStation" en "PS5" zijn handelsmerken van Sony Interactive Entertainment.
Groetjes,