Doğal Dilde Yapılan Türkçe Sorgularda Google Arama Motoru’nun Performans Değerlendirmesi

Özet

Araştırmada Türkçe doğal cümlelerle yapılan aramalarda Google arama motorunun
performansını değerlendirmek amaçlanmaktadır. Bu doğrultuda Google’a 2 farklı tipte (maddi sorular - diğer sorular) 20 soru sorulmuş ve ilk 10 sonuç duyarlık ve normalize sıralama değerlerine göre değerlendirilmiştir. Verilerin analizinde Mann-Whitney U, Spearman ve Ki-kare testleri kullanılmıştır. Araştırmanın sonucunda Google’ın Türkçe doğal dilde yapılan aramalara getirdiği sonuçların ilgililik düzeyi ortalama düzeyde bulunmuştur. Soru tipine göre ilgililik düzeylerinin farklılık göstermediği ancak ilgililik sıralamasının farklılık gösterdiği ortaya çıkmıştır. Maddi sorularda diğer sorulara göre ilgili dokümanlar daha üst sıralarda yer almıştır. Ayrıca Google ilgili dokümanları üst sıralarda göstermekte başarılı bulunmuştur. Çoğunlukla ilk 5 sonuçta ilgili sonuçlara ulaşılabildiği ortaya çıkmıştır. Soruların hemen hemen yarısında yanıt kutusu (snippet) gelmiş ve bunların büyük çoğunluğunun sorgu ile ilgili olduğu saptanmıştır. Sonuç sayfasında gelen videoların ise genellikle sorgu ile ilgisiz olduğu ortaya çıkmıştır. Elde edilen sonuçlarının Google’ın geliştirilmesi amacıyla yapılan çalışmalara fayda sağlayacağı düşünülmektedir.