ibtop baru saja menghemat banyak waktu debugging kami. cluster memiliki kinerja all-reduce yang buruk tetapi memeriksa konfigurasi infiniband di seluruh node segera menunjukkan masalah (lihat tangkapan layar dari dua node). Saya mungkin menghabiskan lebih banyak waktu pada alat ini agar lebih ramah otomatisasi.