Anthropic heeft een server-side wijziging doorgevoerd in Claude Code (versie 2.1.236+), waarbij de 'effort scale' is aangepast. In een vermoedelijke A/B-test wordt de instelling "high" nu geïnterpreteerd als "low" (een score van 10/100), waardoor het model minder diepgaande analyses uitvoert en minder intelligent overkomt.
Omdat deze wijziging niet in de changelog is vermeld, ontstond er aanzienlijke verwarring bij ontwikkelaars, die aanvankelijk dachten dat hun eigen code of applicaties defect waren. De community uit hierdoor kritiek op de onvoorspelbaarheid en het gebrek aan communicatie vanuit Anthropic.
Anthropic voert experiment uit met 'effort scale' in Claude Code
Waarschijnlijk gaat het om een A/B-test, waardoor niet elke gebruiker deze wijziging merkt. Indien de instelling "high" (hoog) voor een gebruiker aanvoelt als "low" (laag), dan maakt deze persoon deel uit van de testgroep.
Impact op de modelprestaties
Sinds versie 2.1.237 interpreteert het model "high" effort als een score van 10 uit 100. Dit is exact de waarde die voorheen werd gebruikt voor de instelling "low". Dit kan ertoe leiden dat het model minder intelligent overkomt of minder diepgaande analyses uitvoert dan voorheen.
Gebrek aan communicatie en gebruikerservaring
In de changelog wordt geen woord gerept over deze wijziging. Dit heeft geleid tot aanzienlijke verwarring bij ontwikkelaars; er werd tijd besteed aan de overtuiging dat specifieke code (zoals t3 code) of eigen applicaties defect waren, terwijl de oorzaak lag bij de server-side aanpassing van Anthropic.
Reacties uit de community
De onvoorspelbaarheid van dergelijke wijzigingen roept vragen op over de betrouwbaarheid van de dienstverlening, specifiek over hoe men kan werken met een bedrijf dat het product zonder aankondiging aanpast terwijl de gebruiker ermee werkt.
Er is een server-side wijziging doorgevoerd bij Claude Code, wat betekent dat de aanpassing niet in de app zelf zit, maar aan de kant van de server. Anthropic heeft sessies van Claude Code versie 2.1.236+ opgenomen in een experiment dat de 'effort scale' (inspanningsschaal) inkrimpt. Oudere versies en Opus 5 zijn hiervan gevrijwaard.
Anthropic voert experiment uit met 'effort scale' in Claude Code
Waarschijnlijk gaat het om een A/B-test, waardoor niet elke gebruiker deze wijziging merkt. Indien de instelling "high" (hoog) voor een gebruiker aanvoelt als "low" (laag), dan maakt deze persoon deel uit van de testgroep.
Impact op de modelprestaties
Sinds versie 2.1.237 interpreteert het model "high" effort als een score van 10 uit 100. Dit is exact de waarde die voorheen werd gebruikt voor de instelling "low". Dit kan ertoe leiden dat het model minder intelligent overkomt of minder diepgaande analyses uitvoert dan voorheen.
Gebrek aan communicatie en gebruikerservaring
In de changelog wordt geen woord gerept over deze wijziging. Dit heeft geleid tot aanzienlijke verwarring bij ontwikkelaars; er werd tijd besteed aan de overtuiging dat specifieke code (zoals t3 code) of eigen applicaties defect waren, terwijl de oorzaak lag bij de server-side aanpassing van Anthropic.
Reacties uit de community
De onvoorspelbaarheid van dergelijke wijzigingen roept vragen op over de betrouwbaarheid van de dienstverlening, specifiek over hoe men kan werken met een bedrijf dat het product zonder aankondiging aanpast terwijl de gebruiker ermee werkt.
Groetjes,