Olasılıksal ilişki modeli

Olasılıksal ilişki modeli Stephen E. Robertson ve Karen Spärck Jones tarafından gelecekteki olasılıksal modeller için bir çerçeve olarak tasarlanmıştır. Arama motorları ve web arama motorları tarafından eşleşen belgeleri belirli bir arama sorgusuyla alakalarına göre sıralamak için kullanılan sıralama fonksiyonlarını türetmek için yararlı bir bilgi alma biçimselliğidir.

Temel prensip

Bir belgenin _j sorgusu q ile alakalı olma olasılığını tahmin eden teorik bir modeldir. Model, bu alakalı olma olasılığının sorgu ve belge gösterimlerine bağlı olduğunu varsayar. Ayrıca, tüm belgelerin bir kısmının kullanıcı tarafından q sorgusu için cevap kümesi olarak tercih edildiği varsayılır. Böyle ideal bir cevap kümesine R denir ve bu kullanıcı için genel alaka olasılığını maksimize etmelidir. Tahmin, bu R kümesindeki belgelerin sorguyla alakalı olacağı, kümede bulunmayan belgelerin ise alakasız olacağı yönündedir.

Matematiksel temel

Olasılıksal ilişki modelinin temel sıralama fonksiyonu şöyle formüle edilir:

$sim(d_{j},q)={\frac {P(R|{\vec {d}}_{j})}{P({\bar {R}}|{\vec {d}}_{j})}}$

Bu formül, Bayes teoremi kullanılarak genişletilebilir:

$P(R\mid {\vec {d_{j}}})={\frac {P({\vec {d_{j}}}\mid R)\cdot P(R)}{P({\vec {d_{j}}})}}$

$P({\overline {R}}\mid {\vec {d_{j}}})={\frac {P({\vec {d_{j}}}\mid {\overline {R}})\cdot P({\overline {R}})}{P({\vec {d_{j}}})}}$

Bu denklemler kullanılarak ve logaritmik dönüşüm uygulanarak:

$\log {\frac {P(R\mid {\vec {d_{j}}})}{P({\overline {R}}\mid {\vec {d_{j}}})}}=\log {\frac {P({\vec {d_{j}}}\mid R)}{P({\vec {d_{j}}}\mid {\overline {R}})}}+\log {\frac {P(R)}{P({\overline {R}})}}$

İkinci terim sorgudan bağımsız bir sabit olduğundan, sıralama için genellikle göz ardı edilir. İkili bağımsızlık varsayımı altında, bu formül daha da genişletilerek:

$\log {\frac {P(R\mid {\vec {d_{j}}})}{P({\overline {R}}\mid {\vec {d_{j}}})}}=\sum _{t\in q}\log {\frac {P(t\mid R)}{P(t\mid {\overline {R}})}}\,x_{t,d_{j}}$

şeklinde ifade edilebilir, burada xt,dj terimin belgede bulunma durumunu gösterir.

Pratik uygulamalar

Olasılıksal ilişki modeli ve onun türevleri, günümüzde birçok arama teknolojisinin temelini oluşturmaktadır:

1. Elasticsearch ve Solr: Açık kaynaklı arama motorları, BM25 ve benzeri olasılıksal modelleri varsayılan sıralama algoritması olarak kullanmaktadır.
2. Akademik Arama Motorları: Google Scholar, Microsoft Academic ve Semantic Scholar gibi akademik arama motorları, atıf ağırlıklandırmalarla birlikte olasılıksal modelleri kullanmaktadır.
3. Kurumsal Arama Sistemleri: Microsoft SharePoint ve IBM Watson Discovery gibi kurumsal arama çözümleri, olasılıksal modellerden türetilmiş sıralama fonksiyonlarını kullanmaktadır.
4. Hibrit Sistemler: Modern arama motorları (Google, Bing, Yandex), olasılıksal modelleri makine öğrenmesi tabanlı sıralama algoritmalarının bir bileşeni olarak kullanmaktadır.
5. Dijital Kütüphaneler: ACM Digital Library, IEEE Xplore ve diğer dijital kütüphaneler, olasılıksal modelleri temel alan arama mekanizmaları sunmaktadır.

İlgili modeller

Bu çerçevenin, daha fazla geliştirmeyle ele alınması gereken bazı sınırlamaları vardır:

• İlk çalıştırma olasılıkları için kesin bir tahmin yoktur
• Endeks terimleri ağırlıklandırılmamıştır.
• Terimlerin karşılıklı olarak bağımsız olduğu varsayılır

Bu ve diğer endişeleri gidermek için olasılıksal ilişki çerçevesinden diğer modeller geliştirilmiştir; bunların arasında aynı yazarın İkili Bağımsızlık Modeli de bulunmaktadır . Bu çerçevenin en iyi bilinen türevleri Okapi (BM25) ağırlıklandırma şeması ve onun çok alanlı rafine edilmiş hali BM25F'dir.