Rất vui được chia sẻ KernelFactory Một công cụ mà tôi đã xây dựng để giải quyết bài kiểm tra hiệu suất mà @AnthropicAI đã chia sẻ cách đây vài tuần.

Tóm lại, thách thức là tối ưu hóa một kernel tùy chỉnh mà họ đã viết. Bạn có thể đi khá xa khi nói chuyện với Claude Code về điều đó. Thay vì làm như vậy, tôi muốn xây dựng một bộ thử nghiệm để xem bạn có thể đi xa đến đâu mà không có sự can thiệp của con người.

Đó là một thử thách thú vị vì nó được xác định rõ ràng và có một tiêu chuẩn rõ ràng. Và bạn cần phải học một bộ công cụ mới nếu bạn muốn thoát khỏi vòng lặp. Cuối cùng, tôi đã xây dựng một bộ khung tiến hóa cố gắng cân bằng giữa việc khám phá một tập hợp đa dạng các ý tưởng và sử dụng những ý tưởng hiện có.

Cuối cùng, bộ harness đã cung cấp một kernel 1297 cycle, vượt qua các tiêu chuẩn ban đầu được thiết lập bởi nhóm trong kho git của họ. Nó cũng phát hiện một số lỗ hổng thú vị có thể làm giảm con số này hơn nữa, chẳng hạn như loại bỏ hàm băm khỏi kernel tham chiếu để nó không cần phải tính toán.

Có thêm một số chi tiết trong bài viết trên blog nếu bạn tò mò. Tóm lại, tôi nghĩ điều quan trọng nhất mà tôi rút ra được là bạn có thể hoàn thành được nhiều việc đến mức nào với một vòng phản hồi tốt và các tiêu chuẩn đánh giá.

Tôi dự định sẽ tiếp tục mày mò với các bộ harness, vì vậy hãy thoải mái liên hệ nếu bạn có một vấn đề thú vị với một vòng phản hồi mạnh mẽ.

@trishume cảm ơn bạn đã mở mã nguồn cho vấn đề này, bạn có thể thấy bộ harness ở trên thú vị!