Jev: Voor de bouwers EN de dromers

Onze filosofie

Er is binnen ons team een groot debat gaande over de balans tussen betrouwbaarheid en creativiteit.

Om echt waarde te bieden aan de productiebouwers (prod builders), moeten we modellen leveren die voldoen aan onze kwaliteitsstandaard voor intelligentie en die intern tot het uiterste zijn getest.

Aan de andere kant is het onmogelijk dat ons team volledig begrijpt wat er nodig is om creativiteit te stimuleren en indrukwekkende sciencefiction te bouwen. We willen onze waarden van extreme betrouwbaarheid niet opdringen aan deze dromers.

Onze oplossing is om deze functies voor dromers beschikbaar te stellen onder "danger zone"-vlaggen in onze API-headers. Dit zijn functies die permanent aanwezig zullen blijven in toekomstige modellen, die (voor zover wij kunnen vaststellen) beter zijn dan wat er momenteel beschikbaar is en die in sneltempo zullen blijven verbeteren. Maar als waarschuwing: we vinden dat er nog te veel onregelmatigheden (jaggedness) in zitten om ze aan te bevelen voor productiegebruik!

Beschouw deze nieuwe mogelijkheden als een voortzetting van wat we tijdens twee jaar stealth-ontwikkeling hebben gebouwd. Ze zijn minder geschikt voor automatisering, maar erg leuk om mee te experimenteren. Ze bieden bovendien een eerste glimp van waar we ons op richten om het betrouwbaar genoeg te maken om aan de TypeSafe-standaarden te voldoen.

Samenstelbare afbeeldingen (Composable Images)

We maken multimodaliteit niet alleen mogelijk voor toekomstige Jev-modellen, maar ook voor de huidige Jev die jullie kennen en waarderen. Verrassing: de Jev die jullie kennen (jev-1.13.0) was al die tijd al multimodaal!

Afbeeldingsondersteuning is volledig samenstelbaar via een find-and-replace in assets. Je kunt ze overal plaatsen waar onze JSON-interface dat ondersteunt: in de status, de instructies of zelfs de criteria! Experimenteer ermee, verleg de grenzen van de technologie en laat ons weten waar Jev kan verbeteren.

Als waarschuwing: alle modellen (inclusief Jev) presteren bij multimodaliteit slechter dan bij pure tekst. Het helpt aanzienlijk om vragen op te splitsen in de eenvoudigst mogelijke decomposities.

TypeSafe-Danger-Zone-Images: true

Raadpleeg de documentatie: docs.typesafe.ai/go/images

Types verder dan beslissingen (Types Beyond Decisions)

We introduceren ook een nieuw type: box. Dit geeft een enkel bounding box terug — typefouten zijn hierbij niet toegestaan. Dit is ons eerste type dat niet puur bedoeld is voor smart-if statements, en het is een preview van ons onderzoek naar wat System One Models nog meer kunnen ondersteunen naast eenvoudige beslissingen.

We hebben hier onlangs enorme stappen in gezet, dus we maken dit alleen beschikbaar voor jev-1.14.0 (spoiler).

Raadpleeg de documentatie: docs.typesafe.ai/go/box

Grootte doet er blijkbaar toe �

We hebben jullie feedback over contextlengtes gehoord. Jev ondersteunt eigenlijk een veel langere contextlengte dan we in productie hebben geactiveerd. We hebben ervoor gekozen dit bewust te beperken omdat Jev, net als alle modellen, minder betrouwbaar is bij langere contexten, en deze beperking stimuleert effectievere gebruikspatronen in productie.

We zijn echter niet jullie ouders; hoewel we sterk aanbevelen om de contextlengte te beperken, hoef je dat nu niet meer te doen:

TypeSafe-Danger-Zone-Long-Context: true

Raadpleeg de documentatie: docs.typesafe.ai/models#context-length

Opt-in om ons te helpen

We waarderen de wens van de community om te helpen de modellen te verbeteren! We hebben een opt-in toegevoegd waarmee je ons kunt helpen onregelmatigheden (jaggedness) in het model te vinden via jouw queries. We zullen nog steeds niet op jouw queries trainen, maar dit maakt het voor ons gemakkelijker om problemen te vinden en te helpen bij het debuggen van jouw use cases.

jev-1.14.0

We brengen ook een nieuwe versie van Jev uit onder jev-preview! Deze is niet bedoeld om flashy te zijn, maar bevat kleine, subtiele verbeteringen aan alles. De meeste zaken zouden een klein beetje beter moeten werken, maar we verwachten de grootste winst in meertalige ondersteuning.

Model-releases zouden over het algemeen strikte verbeteringen moeten zijn, maar we weten goed hoeveel ontwikkelaars er een hekel hebben aan het bijwerken van hun dependencies. jev-latest wordt over een week bijgewerkt naar jev-1.14.0. jev-1.13.0 blijft voorlopig beschikbaar.

We zijn van plan om een waarschuwing van 60 dagen te geven voordat jev-1.13.0 formeel wordt afgeschreven (deprecated), en 30 dagen voor jev-1.14.0. We zullen hier vooraf een deprecation policy voor publiceren.

Intelligentie meten

Zoals jullie weten, hebben we een afkeer van publieke benchmarks. We hebben echter onze eigen interne schattingen over hoe we de vorm van intelligentie kunnen meten die het meest relevant is voor ontwikkelaars.

We proberen hier iets nieuws: we gaan jullie behandelen als volwassenen en dit met jullie delen.

Enkele nuances:

• Deze meting is onze beste schatting en zal blijven evolueren. Mocht ik in de toekomst opnieuw interne cijfers delen, verwacht dan niet dat deze consistent zijn.
• Geloof het niet volledig. Geef altijd voorrang aan je eigen experimenten en evaluaties met jouw specifieke use cases.
• We nemen alleen open weight modellen mee, omdat we onze validatieset zeer nauw bewaken en huiverig zijn voor de datapolicies van onze modelproviders.
• Dit is waarschijnlijk bevooroordeeld in het voordeel van onze eigen modellen. Voel je vrij om ons model te negeren en je in plaats daarvan te concentreren op de relatieve ranking van open source-modellen.

Wat volgt er nog

Veel mensen vragen graag wat voor soort sciencefiction we als volgende gaan uitbrengen. Hoewel we werken aan verbazingwekkende zaken, kunnen jullie verwachten dat de meeste releases "mooi saai" zullen zijn (zoals we vinden dat AI zou moeten zijn): kleine verbeteringen over de hele linie, betere stabiliteit en functies voor echte implementatie.