Minions: Een dynamische en gedistribueerde virtuele GPU-cloud gebouwd op ongebruikte Apple Silicon-apparaten

De toenemende vraag naar GPU-versnelde machine learning-inferentie heeft de beperkingen van gecentraliseerde GPU-infrastructuren blootgelegd, waaronder hoge kosten, beperkte elasticiteit en lange wachttijden bij beperkte resources. Tegelijkertijd zijn moderne macOS-apparaten op basis van Apple Silicon uitgerust met krachtige GPU's die tijdens normaal gebruik grotendeels ongebruikt blijven.

Dit artikel presenteert Minions, een dynamische en gedistribueerde virtuele GPU-cloud die ongebruikte Apple Silicon-GPU's over verschillende macOS-apparaten aggregeert om grootschalige machine learning-inferentiewerklasten uit te voeren. Minions stelt teams in staat om gebruik te maken van bestaande hardware zonder dat er extra GPU-inkoop nodig is.

Het systeem biedt:

• Flexibele uitvoering van GPU-inferentietaken;
• Fouttolerantie;
• Efficiënt gebruik van resources.

Onze ervaring laat zien dat ongebruikte macOS-apparaten kunnen worden getransformeerd in een praktisch gedistribueerd GPU-inferentieplatform in omgevingen waar gecentraliseerde GPU-bronnen beperkt zijn.