Tahap pengujian
Tahap selanjutnya dalam penelitian adalah pengujian sistem. Aspek yang diuji adalah waktu pencarian dan kualitas hasil cari. Kualitas hasil cari diukur dengan ukuran standar dalam temu kembali informasi, yaitu precision dan recall dengan 11 recall standar dan average precision.
Untuk mengukur nilai-nilai tersebut, ada software yang siap pakai, yaitu trec_eval. Trec_eval adalah software standar yang dipakai oleh TREC (Text Retrieval Conference) untuk mengukur kinerja suatu sistem IR. Untuk menggunakannya, cukup disediakan daftar relevansi (daftar query serta dokumen yang seharusnya relevan dengan query tersebut) serta daftar hasil cari (output dari sistem). Secara otomatis akan dihitung nilai-nilai pengukuran tersebut, berikut contoh outputnya:
runid all VP-D10 num_q all 42 num_ret all 235269 num_rel all 840 num_rel_ret all 840 map all 0.6825 gm_map all 0.6810 Rprec all 0.6821 bpref all 1.0000 recip_rank all 0.9881 iprec_at_recall_0.00 all 0.9940 iprec_at_recall_0.10 all 0.9881 iprec_at_recall_0.20 all 0.8525 iprec_at_recall_0.30 all 0.8514 iprec_at_recall_0.40 all 0.7934 iprec_at_recall_0.50 all 0.7880 iprec_at_recall_0.60 all 0.7761 iprec_at_recall_0.70 all 0.6808 iprec_at_recall_0.80 all 0.5042 iprec_at_recall_0.90 all 0.3656 iprec_at_recall_1.00 all 0.2934
Nilai-nilai iprec_at_recall itulah yang akan digunakan untuk menggambar kurva R-P untuk membandingkan beberapa unit percobaan yang dibuat. Catatan: trec_eval adalah program yang berjalan di CLI, jadi tidak ada GUI-nya.
Balas