Embedding Gemma Transcribe is een innovatieve applicatie gebaseerd op het multimodaal embedding-model EmbeddingGemma 2 van Google. In plaats van een traditioneel spraakmodel, maakt het gebruik van een 'reader' die audiofragmenten koppelt aan de dichtstbijzijnde woorden in een gedeelde tekst- en audioruimte.
De belangrijkste kenmerken zijn:
- Extreme snelheid: Op een basis M3 MacBook Air wordt een uur audio in ongeveer 12,6 seconden verwerkt via de Neural Engine.
- Privacy: Omdat de verwerking volledig on-device plaatsvindt, verlaten audiogegevens het apparaat niet.
- Prestaties: De huidige word error rate is circa 5%, wat iets hoger is dan toonaangevende modellen, maar wordt gezien als een startpunt voor verdere optimalisatie.
Het project is onafhankelijk en maakt gebruik van de Apache 2.0-licentie van het basismodel.
Embedding Gemma Transcribe
Kan een embedding-model spraak transcriberen?
EmbeddingGemma 2 is een multimodaal embedding-model waarin tekst, afbeeldingen, audio en video zich in één gedeelde ruimte bevinden. Wanneer een woord hardop wordt uitgesproken, landt de audio in die ruimte dicht bij het geschreven woord. Het doel is om woorden rechtstreeks uit die ruimte te kunnen lezen.
Hoe het werkt
De audio-encoder van EmbeddingGemma 2 blijft exact zoals deze is. Een kleine 'reader' verplaatst elk kort fragment audio naar de tekstruimte van het model. Van de ongeveer 229.000 Engelse woorden wint het woord dat het dichtstbij ligt, waardoor de fragmenten samen een transcriptie vormen. Een klein extra model voegt vervolgens leestekens en hoofdletters toe.
Alleen de reader is getraind: dit proces duurde minder dan twee uur op 8×H100, gebruikmakend van open-license Engelse spraak. Het basismodel zelf was nooit getraind voor speech-to-text.
Snelheid
| Model | Engine / Hardware | Snelheid |
|---|
| Embedding Gemma Transcribe | Neural Engine (base M3 MacBook Air, 8 GB) | 288× (1 uur in 12,6 s) |
| IBM Granite Speech 5.0 Turbo | CTCGPU (MLX) (base M3 MacBook Air, 8 GB) | ~150× (1 uur in 25,7 s) |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine (M4 Pro) | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine (M5 Pro) | 335× |
| Phonon-2, a Parakeet v3 fine-tune (FluidAudio) | Neural Engine (M5 Pro) | 480× |
\ real-time: seconden audio per seconde verwerkingstijd. Rij 1–2: eigen tests op dezelfde basis M3 MacBook Air. Rij 3–5: gepubliceerde benchmarks van FluidAudio op grotere, nieuwere Macs en andere audio. Dit dient als een globale richtlijn en is geen directe vergelijking.*
Huidige status
De word error rate (foutpercentage per woord) is momenteel ongeveer 5%, tegenover 2–3% voor toonaangevende spraakmodellen. Er wordt aangenomen dat een beter getrainde reader dit gat kan dichten; dat is het doel van de volgende iteratie.
Gebruik
Sleep een audiobestand in de applicatie, of houd Right Option ingedrukt, spreek en laat de toets los om in elke willekeurige app te dicteren. De software draait op de Neural Engine van de Mac, waardoor audiogegevens het apparaat nooit verlaten.
***
EmbeddingGemma 2 is gemaakt door Google DeepMind en is uitgebracht onder de Apache 2.0-licentie. Dit is een onafhankelijk project en is niet gelieerd aan of onderschreven door Google.
Embedding Gemma Transcribe
Kan een embedding-model spraak transcriberen?
EmbeddingGemma 2 is een multimodaal embedding-model waarin tekst, afbeeldingen, audio en video zich in één gedeelde ruimte bevinden. Wanneer een woord hardop wordt uitgesproken, landt de audio in die ruimte dicht bij het geschreven woord. Het doel is om woorden rechtstreeks uit die ruimte te kunnen lezen.
Hoe het werkt
De audio-encoder van EmbeddingGemma 2 blijft exact zoals deze is. Een kleine 'reader' verplaatst elk kort fragment audio naar de tekstruimte van het model. Van de ongeveer 229.000 Engelse woorden wint het woord dat het dichtstbij ligt, waardoor de fragmenten samen een transcriptie vormen. Een klein extra model voegt vervolgens leestekens en hoofdletters toe.
Alleen de reader is getraind: dit proces duurde minder dan twee uur op 8×H100, gebruikmakend van open-license Engelse spraak. Het basismodel zelf was nooit getraind voor speech-to-text.
Snelheid
| Model | Engine / Hardware | Snelheid |
|---|
| Embedding Gemma Transcribe | Neural Engine (base M3 MacBook Air, 8 GB) | 288× (1 uur in 12,6 s) |
| IBM Granite Speech 5.0 Turbo | CTCGPU (MLX) (base M3 MacBook Air, 8 GB) | ~150× (1 uur in 25,7 s) |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine (M4 Pro) | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine (M5 Pro) | 335× |
| Phonon-2, a Parakeet v3 fine-tune (FluidAudio) | Neural Engine (M5 Pro) | 480× |
\ real-time: seconden audio per seconde verwerkingstijd. Rij 1–2: eigen tests op dezelfde basis M3 MacBook Air. Rij 3–5: gepubliceerde benchmarks van FluidAudio op grotere, nieuwere Macs en andere audio. Dit dient als een globale richtlijn en is geen directe vergelijking.*
Huidige status
De word error rate (foutpercentage per woord) is momenteel ongeveer 5%, tegenover 2–3% voor toonaangevende spraakmodellen. Er wordt aangenomen dat een beter getrainde reader dit gat kan dichten; dat is het doel van de volgende iteratie.
Gebruik
Sleep een audiobestand in de applicatie, of houd Right Option ingedrukt, spreek en laat de toets los om in elke willekeurige app te dicteren. De software draait op de Neural Engine van de Mac, waardoor audiogegevens het apparaat nooit verlaten.
***
EmbeddingGemma 2 is gemaakt door Google DeepMind en is uitgebracht onder de Apache 2.0-licentie. Dit is een onafhankelijk project en is niet gelieerd aan of onderschreven door Google.
Groetjes,