KonudasBot
Konudaş'ın haberleri toplayan otomatik istemcisi. Neyi okuduğunu, ne sıklıkla geldiğini ve nasıl durdurabileceğini burada açıkça yazıyoruz.
Kimlik
KonudasBot her istekte kendini tanıtır; tarayıcı taklidi yapmaz.
- Akış, makale sayfası ve robots.txt istekleri:
KonudasBot/1.0 (+https://konudas.com/bot) - Görsel doğrulama:
Mozilla/5.0 (compatible; KonudasBot/1.0; +https://konudas.com/bot)(bazı içerik dağıtım ağları yalnız tarayıcı biçimli kimliği kabul ettiği için),Referer: https://konudas.com/ile. - İstekler Türkiye'deki sunucumuzdan gelir: [sunucu IP adresi — üretime geçişte eklenecek].
Ne okur, ne saklar?
- RSS ve Atom akışları. Yayıncının değiştirilmemiş başlığı, en fazla 280 karakterlik özet (spot), tarih, bağlantı ve akıştaki görsel adresi alınır. Tam metin okunmaz ve saklanmaz; okur haberin kendisini yayıncının sitesinde okur. İstekler koşulludur (
ETag/If-Modified-Since); değişmeyen akış yeniden işlenmez. - Makale sayfasının yalnız
<head>bölümü. Akıştaki haberin tarihi yoksa ya da gündemdeki bir olayın görseli yoksa sayfanın başı okunur (en fazla 400 KB;</head>görülünce bağlantı kapatılır): yayın zamanı, kanonik adres veog:image. Sayfa gövdesi okunmaz. Bu okumalar robots.txt'ye uyar. - Görseller kopyalanmaz. Kartta görsel doğrudan senin sunucundan yüklenir (hotlink). Göstermeden önce görselin yalnız ilk 64 KB'ı çekilerek sitemizden gösterilmeye izin verilip verilmediği (hotlink engeli), boyutu ve oranı denetlenir; engelli ya da uygunsuz görsel kullanılmaz.
- Ajans haberleri (AA, DHA, İHA imzalı): lisans netleşene kadar yalnız başlık ve bağlantı; spot ve görsel alınmaz.
robots.txt
Makale sayfası okumaları robots.txt'ye uyar. Önce KonudasBot adlı grup (büyük/küçük harf fark etmez), yoksa * grubu uygulanır; en uzun eşleşen kural kazanır, * ve $ desteklenir. robots.txt en fazla 24 saat önbellekte tutulur; sunucu hata verirse ya da yanıt vermezse o siteden sayfa okunmaz, bir saat sonra yeniden denenir.
User-agent: KonudasBot
Disallow: /Bu kural makale sayfalarına hiç gelmememizi sağlar. RSS akışı ise yayıncının abonelere açıkça sunduğu bir yayın kanalıdır ve robots.txt akış isteklerini durdurmaz; akışının hiç okunmamasını istiyorsan aşağıdaki adrese yaz.
İstek sıklığı
- Her akış kendi yayın temposuna göre çekilir: yayınlar arası ortanca sürenin yarısı, en sık 5 dakikada bir, en seyrek 60 dakikada bir. Gece (00.00–06.00, Türkiye saati) aralık üç katına çıkar, en fazla 120 dakika.
- Aynı sunucuya aynı anda en fazla 2 istek gider.
429ya da503yanıtındakiRetry-Aftersüresine uyulur (en fazla 6 saat). Art arda 3 hatadan sonra bekleme üstel artar: 30 dakikadan 6 saate kadar.- Sayfa başı ve görsel denetimi istekleri bütçeyle sınırlıdır: tüm yayıncılar toplamında dakikada en fazla 20 sayfa okuma ve 20 görsel zenginleştirme isteği (robots.txt istekleri dahil).
Yayıncılar: itiraz ve tercihler
İçeriğinin Konudaş'ta nasıl gösterileceğine sen karar verirsin. yayinci@konudas.com adresine alan adını ve tercihini yaz:
- Hiç gösterme (opt-out): akışın okunmaz, kaynağının tüm kartları ve bağlantıları kaldırılır.
- Yalnız başlık ve bağlantı: spot gösterilmez.
- Görselsiz: kartlarda görselin gösterilmez.
- Sayfa okuma yok: makale sayfalarına hiç gelinmez (robots.txt ile kendin de yapabilirsin).
- Farklı bir akış adresi ya da istek sıklığı önerisi.
Talebin kurumsal bir adresten ya da alan adının sahibi olduğunu gösteren bir yoldan gelmesini bekleriz. Doğruladıktan sonra en kısa sürede uygularız; hedefimiz 24 saattir. Telif şikâyetleri ve hukuki başvurular için künyedeki adresler geçerlidir.