İçeriğe geç

KonudasBot

Konudaş'ın haberleri toplayan otomatik istemcisi. Neyi okuduğunu, ne sıklıkla geldiğini ve nasıl durdurabileceğini burada açıkça yazıyoruz.

Kimlik

KonudasBot her istekte kendini tanıtır; tarayıcı taklidi yapmaz.

  • Akış, makale sayfası ve robots.txt istekleri: KonudasBot/1.0 (+https://konudas.com/bot)
  • Görsel doğrulama: Mozilla/5.0 (compatible; KonudasBot/1.0; +https://konudas.com/bot) (bazı içerik dağıtım ağları yalnız tarayıcı biçimli kimliği kabul ettiği için), Referer: https://konudas.com/ ile.
  • İstekler Türkiye'deki sunucumuzdan gelir: [sunucu IP adresi — üretime geçişte eklenecek].

Ne okur, ne saklar?

  • RSS ve Atom akışları. Yayıncının değiştirilmemiş başlığı, en fazla 280 karakterlik özet (spot), tarih, bağlantı ve akıştaki görsel adresi alınır. Tam metin okunmaz ve saklanmaz; okur haberin kendisini yayıncının sitesinde okur. İstekler koşulludur (ETag / If-Modified-Since); değişmeyen akış yeniden işlenmez.
  • Makale sayfasının yalnız <head> bölümü. Akıştaki haberin tarihi yoksa ya da gündemdeki bir olayın görseli yoksa sayfanın başı okunur (en fazla 400 KB; </head> görülünce bağlantı kapatılır): yayın zamanı, kanonik adres ve og:image. Sayfa gövdesi okunmaz. Bu okumalar robots.txt'ye uyar.
  • Görseller kopyalanmaz. Kartta görsel doğrudan senin sunucundan yüklenir (hotlink). Göstermeden önce görselin yalnız ilk 64 KB'ı çekilerek sitemizden gösterilmeye izin verilip verilmediği (hotlink engeli), boyutu ve oranı denetlenir; engelli ya da uygunsuz görsel kullanılmaz.
  • Ajans haberleri (AA, DHA, İHA imzalı): lisans netleşene kadar yalnız başlık ve bağlantı; spot ve görsel alınmaz.

robots.txt

Makale sayfası okumaları robots.txt'ye uyar. Önce KonudasBot adlı grup (büyük/küçük harf fark etmez), yoksa * grubu uygulanır; en uzun eşleşen kural kazanır, * ve $ desteklenir. robots.txt en fazla 24 saat önbellekte tutulur; sunucu hata verirse ya da yanıt vermezse o siteden sayfa okunmaz, bir saat sonra yeniden denenir.

User-agent: KonudasBot
Disallow: /

Bu kural makale sayfalarına hiç gelmememizi sağlar. RSS akışı ise yayıncının abonelere açıkça sunduğu bir yayın kanalıdır ve robots.txt akış isteklerini durdurmaz; akışının hiç okunmamasını istiyorsan aşağıdaki adrese yaz.

İstek sıklığı

  • Her akış kendi yayın temposuna göre çekilir: yayınlar arası ortanca sürenin yarısı, en sık 5 dakikada bir, en seyrek 60 dakikada bir. Gece (00.00–06.00, Türkiye saati) aralık üç katına çıkar, en fazla 120 dakika.
  • Aynı sunucuya aynı anda en fazla 2 istek gider.
  • 429 ya da 503 yanıtındaki Retry-After süresine uyulur (en fazla 6 saat). Art arda 3 hatadan sonra bekleme üstel artar: 30 dakikadan 6 saate kadar.
  • Sayfa başı ve görsel denetimi istekleri bütçeyle sınırlıdır: tüm yayıncılar toplamında dakikada en fazla 20 sayfa okuma ve 20 görsel zenginleştirme isteği (robots.txt istekleri dahil).

Yayıncılar: itiraz ve tercihler

İçeriğinin Konudaş'ta nasıl gösterileceğine sen karar verirsin. yayinci@konudas.com adresine alan adını ve tercihini yaz:

  • Hiç gösterme (opt-out): akışın okunmaz, kaynağının tüm kartları ve bağlantıları kaldırılır.
  • Yalnız başlık ve bağlantı: spot gösterilmez.
  • Görselsiz: kartlarda görselin gösterilmez.
  • Sayfa okuma yok: makale sayfalarına hiç gelinmez (robots.txt ile kendin de yapabilirsin).
  • Farklı bir akış adresi ya da istek sıklığı önerisi.

Talebin kurumsal bir adresten ya da alan adının sahibi olduğunu gösteren bir yoldan gelmesini bekleriz. Doğruladıktan sonra en kısa sürede uygularız; hedefimiz 24 saattir. Telif şikâyetleri ve hukuki başvurular için künyedeki adresler geçerlidir.