Een potentiële partner vroeg om onze benchmarkcijfers. Op dat moment stonden we in de benchmarks achter andere agenten. We hebben een weekend besteed aan het oplossen daarvan: we hebben Cline getest tegen de 89 real-world taken van Terminal Bench, elke fout gediagnosticeerd en oplossingen verzonden. 47% → 57%.

We hebben het exacte proces opgeschreven: hoe we de evaluatiepijplijn hebben opgezet, de foutpatronen die we hebben gevonden en de oplossingen die effect hebben gehad. De methode (hill climbing) werkt met elke agent, niet alleen met Cline. Volledige gids: