LemonSeed Studio is een IDE voor de iPad die lokale LLM-inferentie mogelijk maakt door gebruik te maken van een externe AMD GPU in een Thunderbolt-behuizing. De applicatie integreert drie hoofdonderdelen: de maclinuxgpu driver voor GPU-aansturing, de LemonSeed Engine voor de inferentie via de HSA-runtime en HRX/Loom, en amdgpumtopg voor live telemetrie. Het project is open source (MIT/GPL-2.0) en kan worden geïnstalleerd via Git met behulp van submodules.
LemonSeed Studio
Overzicht
LemonSeed Studio is een enkele iPad-applicatie die de volgende componenten bundelt:
- mac_linuxgpu: De ongewijzigde upstream Linux
amdgpu + amdkfd driver, ingebed in de applicatie als een PCIDriverKit-extensie. Deze driver stuurt een AMD GPU aan die zich in een Thunderbolt-behuizing bevindt.
- LemonSeed Engine: De inferentie-engine die op de GPU draait via de HSA-runtime en HRX/Loom.
- amdgpu_mtopg: Live GPU-telemetrie.
Projectstructuur
De mappenstructuur van de projectbestanden is als volgt opgebouwd:
thirdparty/maclinuxgpu: GPU-driver (submodule)third_party/LSE: Inferentie-engine (submodule)thirdparty/amdgpumtopg: GPU-monitor (submodule)
De broncode verkrijgen
Om de broncode te downloaden, kan het volgende commando worden gebruikt:
git clone --recurse-submodules <repository>
Voor een bestaande kloon kan de volgende opdracht worden uitgevoerd:
git submodule update --init
Opmerking: mac_linuxgpu haalt bij de eerste build eigen, vastgepinde Linux-bronnen op via een sparse checkout. De geneste kernel-submodule hoeft daarom niet recursief te worden gekloond.
Licentie
De originele code is beschikbaar onder de MIT- of GPL-2.0-only licentie, naar keuze van de gebruiker. Raadpleeg het bestand LICENSE voor meer details. Gebundelde componenten en submodules behouden hun eigen licenties; zie hiervoor THIRD_PARTY.md.
LemonSeed Studio
Overzicht
LemonSeed Studio is een enkele iPad-applicatie die de volgende componenten bundelt:
- mac_linuxgpu: De ongewijzigde upstream Linux
amdgpu + amdkfd driver, ingebed in de applicatie als een PCIDriverKit-extensie. Deze driver stuurt een AMD GPU aan die zich in een Thunderbolt-behuizing bevindt.
- LemonSeed Engine: De inferentie-engine die op de GPU draait via de HSA-runtime en HRX/Loom.
- amdgpu_mtopg: Live GPU-telemetrie.
Projectstructuur
De mappenstructuur van de projectbestanden is als volgt opgebouwd:
thirdparty/maclinuxgpu: GPU-driver (submodule)third_party/LSE: Inferentie-engine (submodule)thirdparty/amdgpumtopg: GPU-monitor (submodule)
De broncode verkrijgen
Om de broncode te downloaden, kan het volgende commando worden gebruikt:
git clone --recurse-submodules <repository>
Voor een bestaande kloon kan de volgende opdracht worden uitgevoerd:
git submodule update --init
Opmerking: mac_linuxgpu haalt bij de eerste build eigen, vastgepinde Linux-bronnen op via een sparse checkout. De geneste kernel-submodule hoeft daarom niet recursief te worden gekloond.
Licentie
De originele code is beschikbaar onder de MIT- of GPL-2.0-only licentie, naar keuze van de gebruiker. Raadpleeg het bestand LICENSE voor meer details. Gebundelde componenten en submodules behouden hun eigen licenties; zie hiervoor THIRD_PARTY.md.
Groetjes,