Ein potenzieller Partner hat nach unseren Benchmark-Zahlen gefragt. Zu diesem Zeitpunkt lagen wir bei den Benchmarks hinter anderen Agenten. Wir haben ein Wochenende damit verbracht, das zu beheben: Wir haben Cline gegen die 89 realen Aufgaben von Terminal Bench getestet, jede Fehlermeldung diagnostiziert und Korrekturen ausgeliefert. 47% → 57%.

Wir haben den genauen Prozess aufgeschrieben: wie wir die Evaluierungs-Pipeline eingerichtet haben, die Fehlerarten, die wir gefunden haben, und die Lösungen, die einen Unterschied gemacht haben. Die Methode (Hill Climbing) funktioniert mit jedem Agenten, nicht nur mit Cline. Vollständiger Leitfaden: