Ini adalah ringkasan Plain English Papers dari makalah penelitian yang disebut <a href=" A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation</a>. Jika Anda menyukai analisis semacam ini, bergabunglah dengan <a href=" atau ikuti kami di <a href=" <h2>Pertukaran yang mustahil</h2> <p>Selama bertahun-tahun, siapa pun yang membangun sistem rekomendasi menghadapi dilema yang nyata. Urutan perilaku pengguna dapat membentang hingga ribuan atau puluhan ribu interaksi. Memahami sejarah itu membutuhkan jawaban pertanyaan sederhana yang menipu: mengingat semua yang telah dilakukan pengguna sebelumnya, apa yang harus kita rekomendasikan selanjutnya?</p> <p>Pendekatan standar menggunakan perhatian softmax, mekanisme yang menghitung perbandingan terperinci antara momen saat ini dan setiap interaksi masa lalu. Secara matematis itu elegan. Ini bekerja dengan indah. Tetapi biaya komputasi berskala kuadrat dengan panjang urutan. Pada 10.000 interaksi, Anda melakukan sekitar 100 juta perbandingan hanya untuk membuat satu rekomendasi. Skalakan itu di jutaan pengguna dan ribuan rekomendasi per detik, dan biaya infrastruktur Anda menjadi mahal.</p> <p>Jadi praktisi berkompromi. Mereka beralih ke mekanisme perhatian linier, yang mengurangi kompleksitas komputasi dari kuadrat ke linier. Matematikanya cerdas, dan perolehan kecepatannya nyata. Masalahnya: kecepatan itu ada biayanya. Mekanisme ini mempertahankan "status" yang sedang berjalan yang diperbarui dengan setiap interaksi baru, tetapi status ini memiliki kapasitas terbatas. Ini seperti pustakawan yang hanya bisa menuliskan pola kasar di clipboard kecil alih-alih berkonsultasi dengan catatan lengkap. Anda kehilangan presisi yang diperlukan untuk mengenali urutan perilaku tertentu yang menunjukkan niat pengguna.
Tradeoff ini telah mendefinisikan bidang. Metode yang efisien mengorbankan akurasi. Metode yang tepat mengorbankan kecepatan. Dan pengguna yang paling menderita adalah mereka yang memiliki urutan yang sangat panjang, pengguna yang kuat, dan keterlibatan berat yang memiliki perilaku paling menarik untuk dipelajari.
Para peneliti di balik HyTRec menyaksikan ini dan mengajukan pertanyaan yang berbeda: Bagaimana jika ini sebenarnya bukan masalah tunggal yang membutuhkan satu solusi?
Bagaimana pengguna sebenarnya berpikir
Wawasan dimulai dengan pengamatan sederhana tentang bagaimana preferensi pengguna sebenarnya bekerja. Anda memiliki dua jenis sinyal preferensi yang berbeda secara fundamental, dan mereka beroperasi pada skala waktu yang sama sekali berbeda.
Preferensi stabil jangka panjang Anda berasal dari sejarah yang mendalam. Jika Anda telah mengklik gadget teknologi 500 kali selama dua tahun, itu adalah bukti kuat bahwa Anda menyukai teknologi. Preferensi ini tidak banyak berfluktuasi dari minggu ke minggu. Yang penting, Anda tidak memerlukan setiap satu dari 500 interaksi tersebut untuk memahami polanya. Anda dapat mempelajari hal yang sama dari 50 di antaranya, atau bahkan dari ringkasan statistik kasar. Menjadi perkiraan tentang sinyal ini hampir tidak kehilangan apa-apa.
Lonjakan niat jangka pendek Anda berasal dari perilaku baru-baru ini. Jika Anda mengklik tiga mantel musim dingin dalam dua jam terakhir, Anda sedang berbelanja mantel sekarang. Sinyal ini rapuh. Mudah untuk melewatkan jika Anda rata-rata dengan ribuan interaksi lain dari beberapa bulan yang lalu. Tapi itu sangat memprediksi apa yang akan Anda lakukan dalam lima menit ke depan.
Ini tidak hanya berbeda dalam derajat, mereka berbeda dalam jenisnya. Satu stabil dan dapat mentolerir perkiraan. Yang lainnya mudah menguap dan membutuhkan presisi. Namun metode yang ada mencoba menangani keduanya dengan satu mekanisme perhatian, pasti mengoptimalkan satu dengan mengorbankan yang lain.
Solusi hibrida
Langkah elegan adalah berhenti mencoba membangun satu mekanisme yang melakukan segalanya. Sebagai gantinya, pisahkan pekerjaan dengan cara yang mencerminkan cara pengguna benar-benar menjelajah.
Arsitektur menjalankan dua jalur paralel. Yang pertama, seluruh urutan historis Anda, bahkan jika berisi 9.000 interaksi dari enam bulan terakhir, melewati cabang perhatian linier. Cabang ini tidak perlu tepat. Ini membangun pemahaman yang luas tentang kategori selera Anda secara keseluruhan. Karena menggunakan perhatian linier, ia selesai dalam waktu sebanding dengan panjang urutan, bukan panjang urutan kuadrat. Ini cepat.
Di jalur kedua, interaksi Anda baru-baru ini, mungkin 1.000 dari dua minggu terakhir, melalui cabang perhatian softmax. Cabang ini bisa mahal karena beroperasi pada sepotong kecil data. Ini menghasilkan representasi yang tepat dari apa yang mungkin Anda inginkan saat ini. Anda melakukan komputasi yang mahal, tetapi pada jendela kecil.
Setiap cabang menghasilkan representasi "apa yang harus kita rekomendasikan." Kemudian arsitektur menggabungkannya dengan cerdas. Anda telah mengembalikan presisi perhatian softmax sambil mempertahankan kecepatan perhatian linier, karena masing-masing sekarang beroperasi di domain yang tepat.
HyTRec membagi urutan perilaku pengguna yang panjang antara dua mekanisme perhatian khusus, memungkinkan preferensi stabil dan lonjakan niat terbaru ditangani secara independen.
Ini bukan penyesuaian kecil. Kompleksitas komputasi tetap linier dalam panjang urutan saat beroperasi pada urutan 10 kali lebih lama dari pendekatan sebelumnya yang dapat ditangani secara efisien. Tapi ada tangkapan yang tersembunyi di arsitektur.
Membuat sinyal terbaru penting
Tantangan dengan sistem hibrida adalah bahwa cabang perhatian linier telah melihat ribuan interaksi. Cabang softmax telah melihat ratusan. Dengan volume tipis, sinyal cabang linier lebih keras. Tetapi dalam rekomendasi, kebaruan lebih penting daripada volume. Klik dari hari ini memberi tahu Anda lebih banyak tentang apa yang diinginkan seseorang daripada klik dari enam bulan yang lalu.
Jika Anda memperlakukan kedua cabang secara setara, data kedaluwarsa akan menenggelamkan data baru. Anda telah memecahkan masalah komputasi tetapi menciptakan masalah responsif.
Solusinya disebut Temporal-Aware Delta Network, atau TADN. Mekanisme ini melakukan sesuatu yang mudah: secara dinamis meningkatkan sinyal perilaku baru sambil menekan kebisingan historis.
Bayangkan mekanisme gerbang yang menanyakan setiap bagian dari urutan: "Berapa umurmu?" Interaksi segar mendapatkan bobot yang lebih tinggi. Interaksi lama mendapatkan bobot yang lebih rendah. Ini tidak terjadi pada jadwal tetap, itu dipelajari dari data. Jaringan menemukan pola seperti: "Untuk pengguna ini, pola perilaku bergeser setiap beberapa hari, sehingga interaksi yang lebih lama dari seminggu harus ditimbang pada setengah kekuatan."
Tanpa TADN, sistem hibrida akan membuat rekomendasi yang semakin basi karena preferensi pengguna bergeser. Dengan itu, sistem tetap responsif terhadap perubahan. Sinyal terbaru secara alami memiliki lebih banyak pengaruh atas rekomendasi, tetapi jaringan mempelajari dengan tepat seberapa besar pengaruh yang masuk akal untuk setiap pengguna dan jenis interaksi.
Hasil dunia nyata
Para peneliti menguji HyTRec pada kumpulan data besar dengan urutan perilaku pengguna aktual yang membentang hingga puluhan ribu interaksi per pengguna. Ini bukan data akademis yang bersih, ini adalah kekacauan skala produksi.
Pada kecepatan, hasilnya penting. HyTRec mempertahankan kompleksitas inferensi linier. Gandakan panjang urutan, dan waktu inferensi kira-kira dua kali lipat. Itu tidak empat kali lipat seperti perhatian softmax. Pada urutan 10.000 panjang, perbedaan ini menentukan apakah Anda dapat merekomendasikan dalam 50 milidetik atau 5 detik. Pada platform yang melayani jutaan pengguna, perbedaan itu adalah garis antara yang layak dan yang mustahil.
...