Welk AI-model moet je tests schrijven en beoordelen?
CycleMantle wordt niet geleverd met één vaste brain. Je kiest een cloud-AI-aanbieder, een model op je pc of het ingebouwde model, en je kunt die keuze per chat wijzigen. De keuze bepaalt waar je prompts heen gaan en hoe goed de voorgestelde tests zijn.
Drie manieren om een model te koppelen
Een cloud-AI-aanbieder
Je voert het adres van een standaard API-eindpunt en je sleutel in in de instellingen, en CycleMantle stuurt de chat naar die aanbieder. Grote cloudmodellen gaan meestal beter om met lange klassen en ingewikkelde logica. De sleutel blijft op je pc. Met een cloudmodel gaan je prompt en de bestandsinhoud die de agent leest naar die aanbieder; bij een lokaal model blijft alles op je pc. Eventuele gebruikskosten worden door de aanbieder berekend, dus lees hun voorwaarden. Houd wachtwoorden en privé-sleutels buiten de bestanden die je de agent laat lezen.
Een model op je pc
Je wijst CycleMantle naar een eindpunt dat op je eigen machine draait. De prompts gaan dan naar dat lokale adres, en bij een lokaal model verlaat niets je pc. Dit is geschikt voor code die je niet naar een derde partij wilt sturen. Kleinere lokale modellen kunnen langzamer zijn en minder goed omgaan met lange bestanden, dus kies taken die passen: één klasse, één fixture, één mislukte test. Je start en bijwerkt het lokale model zelf. De chatkaarten, de diffs en de goedkeuringsmodi zien er precies hetzelfde uit als bij een cloudmodel.
Het ingebouwde model
Het ingebouwde model is direct bruikbaar zonder je eigen eindpunt, dus het is de snelste manier om de app te proberen na installatie. Gebruik het voor een eerste run: vraag om tests van één kleine functie, lees de diff en bekijk hoe de kaarten en de goedkeuringsmodi werken. Als een taak meer diepgang vereist, schakel dan de chat over naar een cloud- of lokaal model. Je projectmap, de chatgeschiedenis en de goedkeuringsmodus blijven zoals ze zijn, omdat ze bij de app horen en niet bij het model.
Controleer de verbinding met de knop Testen
Nadat je een eindpunt hebt ingevoerd, druk je op de knop Testen voordat je de agent echt werk geeft. Het stuurt een klein verzoek en toont vervolgens de reactietijd en het contextvenster van het model. De reactietijd geeft aan hoe lang elke stap van een lange run moet wachten. Het contextvenster geeft aan hoeveel code en uitvoer in één gesprek passen. Een klein venster is prima voor één functie, maar kampt met een hele map met tests. Als de test mislukt, corrigeer dan het adres, de sleutel of de modelnaam en druk opnieuw op de knop.
Pas het model aan bij de taak
Gebruik een groter model voor refactoring en complexe logica, en een kleiner model voor kleine wijzigingen, zoals het hernoemen van een fixture of het toevoegen van één assertie. Je hoeft niet de hele chat te wijzigen. Het hulpprogramma run_on_model stuurt één moeilijke stap naar een groter model, terwijl routinestappen op het door jou gekozen model blijven. Laat bijvoorbeeld een klein model je testcommando uitvoeren en de exitcode lezen, en geef het ontwerp van een ingewikkelde testklasse aan het grotere model. Lees het resultaat in de kaart, hoe dan ook.
De kwaliteit varieert tussen modellen, dus behandel elk voorstel als een concept. Gebruik Ask first zodat elke wijziging wacht op jouw goedkeuring, lees de diff regel voor regel en voer je testcommando opnieuw uit na acceptatie. Als een test te slim lijkt, wijs hem dan af en vraag om een eenvoudigere versie. Houd je eigen versiebeheergeschiedenis bij, zodat je terug kunt stappen. Een slagen run is nuttig bewijs, maar het is geen garantie.