Tahap pengujian

Tahap selanjutnya dalam penelitian adalah pengujian sistem. Aspek yang diuji adalah waktu pencarian dan kualitas hasil cari. Kualitas hasil cari diukur dengan ukuran standar dalam temu kembali informasi, yaitu precision dan recall dengan 11 recall standar dan average precision.

Untuk mengukur nilai-nilai tersebut, ada software yang siap pakai, yaitu trec_eval. Trec_eval adalah software standar yang dipakai oleh TREC (Text Retrieval Conference) untuk mengukur kinerja suatu sistem IR. Untuk menggunakannya, cukup disediakan daftar relevansi (daftar query serta dokumen yang seharusnya relevan dengan query tersebut) serta daftar hasil cari (output dari sistem). Secara otomatis akan dihitung nilai-nilai pengukuran tersebut, berikut contoh outputnya:

runid                 	all	VP-D10
num_q                 	all	42
num_ret               	all	235269
num_rel               	all	840
num_rel_ret           	all	840
map                   	all	0.6825
gm_map                	all	0.6810
Rprec                 	all	0.6821
bpref                 	all	1.0000
recip_rank            	all	0.9881
iprec_at_recall_0.00  	all	0.9940
iprec_at_recall_0.10  	all	0.9881
iprec_at_recall_0.20  	all	0.8525
iprec_at_recall_0.30  	all	0.8514
iprec_at_recall_0.40  	all	0.7934
iprec_at_recall_0.50  	all	0.7880
iprec_at_recall_0.60  	all	0.7761
iprec_at_recall_0.70  	all	0.6808
iprec_at_recall_0.80  	all	0.5042
iprec_at_recall_0.90  	all	0.3656
iprec_at_recall_1.00  	all	0.2934

Nilai-nilai iprec_at_recall itulah yang akan digunakan untuk menggambar kurva R-P untuk membandingkan beberapa unit percobaan yang dibuat. Catatan: trec_eval adalah program yang berjalan di CLI, jadi tidak ada GUI-nya.