Evaluar el rendimiento del modelo es difícil Las métricas se manipulan, la puntuación humana es costosa e inconsistente Es por eso que creamos Judge, un sistema de evaluación de IA verificable que permite que los modelos compitan de frente. Entrene su modelo y póngalo a prueba
gensyn
gensyn27 ago, 23:13
1/ Presentamos Judge: el sistema de evaluación de IA verificable de Gensyn. Los evaluadores tradicionales se basan en API cerradas: opacas, actualizadas silenciosamente e imposibles de reproducir. El juez ejecuta un modelo de IA determinista preacordado contra las entradas del mundo real y se compromete a ser desafiado en público.
2.4K