Puan
197.513
Çözümler
0
- Konum
- TÜrkiye -Ege -İzmir
- Mesajlar
- 342.175
- Katılım
- 31 Ağustos 2023
- Tepkime puanı
- 99.009
- Puan
- 197.513
- Meslek
- -ODTÜ -Yük.Elektrik.Elektronik .Müh
SemrushBot
Bot, web robotu, web örümceği veya web tarayıcısı olarak da bilinen, basit ve tekrarlayan görevleri herhangi bir insanın yapabileceğinden daha etkili, yapılandırılmış ve özlü bir şekilde otomatik olarak gerçekleştirmek üzere tasarlanmış bir yazılım uygulamasıdır.
Botların en yaygın kullanım alanı web tarama veya web arama işlemleridir.
SemrushBot, Semrush'ın yeni ve güncellenmiş web verilerini keşfetmek ve toplamak için gönderdiği arama botu yazılımıdır .
SemrushBot tarafından toplanan veriler şu amaçlarla kullanılır:
Herkese açık geri bağlantı arama motoru dizini, Backlink Analytics (bağlantıların web grafiği) adı verilen özel bir araç olarak sürdürülmektedir.
Site Denetimi aracı, sayfa içi SEO, teknik ve kullanılabilirlik sorunlarını analiz eder.
Profilinizdeki potansiyel olarak tehlikeli geri bağlantıları keşfetmenize ve temizlemenize yardımcı olan Geri Bağlantı Denetimi aracı.
Bağlantı Oluşturma aracı, potansiyel müşteriler bulmanıza, onlarla iletişime geçmenize ve yeni edindiğiniz geri bağlantıları izlemenize yardımcı olur.
URL'nin erişilebilir olup olmadığını kontrol etmek için SEO Yazma Asistanı aracını kullanın.
Sayfa İçi SEO Denetleyicisi ve SEO İçerik Şablonu araçları raporları
Konu Araştırma aracı raporları
Web sitenizde SEO A/B testleri oluşturmak için SplitSignal aracını kullanın.
İçerik Araç Seti raporları
İntihal Kontrol Aracı, kontrol edilen içeriğin web sitenizde yer alıp almadığını doğrulamak için kullanılır.
Ryte.com tarafından sağlanan ve sayfa içi SEO, teknik ve kullanılabilirlik sorunlarını analiz eden araçlar.
Semrush Enterprise Site Intelligence ürünü, sayfa içi SEO, teknik ve kullanılabilirlik sorunlarını analiz eder.
SemrushBot Sitenizi Nasıl Tarıyor?
SemrushBot'un tarama süreci, bir web sayfası URL listesiyle başlar. SemrushBot bu URL'leri ziyaret ettiğinde, daha sonraki tarama için sayfadaki köprü bağlantılarını kaydeder. "Tarama sınırı" olarak da bilinen bu liste, bir sitenin güncellemelerini (içerik değişiklikleri, yeni sayfalar ve ölü bağlantılar) etkili bir şekilde haritalamak için bir dizi Semrush politikasına göre tekrar tekrar ziyaret edilir.
SemrushBot'un Sitenizi Taramasını Nasıl Engelleyebilirsiniz?
Botlar, sitenizin içeriğini ayrıştırmaya yardımcı olmak için web sayfalarınızı tarar; böylece sitenizdeki ilgili bilgiler kolayca indekslenir ve sağladığınız içeriği arayan kullanıcılar için daha kolay erişilebilir hale gelir.
Çoğu bot zararsız ve hatta oldukça faydalı olsa da, yine de sitenizi taramalarını engellemek isteyebilirsiniz (ancak lütfen unutmayın ki, web üzerindeki herkes sitenizi indekslemeye yardımcı olmak için bot kullanmıyor). Bunu yapmanın en kolay ve hızlı yolu robots.txt dosyasını kullanmaktır. Bu metin dosyası, bir botun sitenizin verilerini nasıl işlemesi gerektiğine dair talimatlar içerir.
Önemli: robots.txt dosyası, uygulanacağı web sitesi barındırıcısının en üst dizinine yerleştirilmelidir. Aksi takdirde, SemrushBot'un davranışını etkilemeyecektir.
SemrushBot'un sitenizi taramasını durdurmak için robots.txt dosyanıza aşağıdaki kuralları ekleyin:
SemrushBot'un sitenizdeki bağlantıların web grafiğini taramasını engellemek için:
Kullanıcı aracısı: SemrushBot
Yasakla: /
SemrushBot for Backlink Analytics, robots.txt dosyasına aşağıdaki standart dışı eklentileri de desteklemektedir:
Tarama gecikmesi yönergeleri. Tarayıcımız, bir siteye yapılan istekler arasında 10 saniyeye kadar aralıklar bırakabilir. Daha yüksek değerler bu 10 saniyelik sınıra düşürülecektir. Herhangi bir tarama gecikmesi belirtilmezse, SemrushBot, mevcut sunucu yüküne göre sitenize yapılan isteklerin sıklığını ayarlayacaktır.
Joker karakterlerin (*) kullanımı.
Önemli detaylar:
Alt alan adlarınız varsa, her alt alan adına bir robots.txt dosyası yerleştirmeniz gerekir. Aksi takdirde, SemrushBot alan adınızdaki diğer hiçbir dosyayı ele almayacak ve alt alan adınızdaki her şeyi taramasına izin verildiğini varsayacaktır.
robots.txt dosyası her zaman HTTP 200 durum kodu döndürmelidir. 4xx durum kodu döndürülürse, SemrushBot robots.txt dosyasının mevcut olmadığını ve tarama kısıtlamalarının olmadığını varsayacaktır. robots.txt dosyanız için 5xx durum kodu döndürmek, SemrushBot'un sitenizin tamamını taramasını engelleyecektir. Tarayıcımız 3xx durum koduna sahip robots.txt dosyalarını işleyebilir.
Lütfen SemrushBot'un robots.txt dosyanızda yapılan değişiklikleri keşfetmesinin bir saate kadar veya 100 istek kadar sürebileceğini unutmayın.
SemrushBot'un sitenizi çeşitli SEO ve teknik sorunlar nedeniyle taramasını engellemek için:
Kullanıcı aracısı: SiteAuditBot
Yasakla: /
SemrushBot'un Backlink Audit aracı için sitenizi taramasını engellemek için:
Kullanıcı aracısı: SemrushBot-BA
Yasakla: /
On Page SEO Checker aracı ve benzeri araçlar için SemrushBot'un sitenizi taramasını engellemek için:
Kullanıcı aracısı: SemrushBot-SI
Yasakla: /
SemrushBot'un SWA aracı için sitenizdeki URL'leri kontrol etmesini engellemek için:
Kullanıcı aracısı: SemrushBot-SWA
Yasakla: /
SplitSignalBot'un sitenizi SplitSignal aracı için taramasını engellemek için:
Kullanıcı aracısı: SplitSignalBot
Yasakla: /
SemrushBot-OCOB'un Content Toolkit için sitenizi taramasını engellemek için:
Kullanıcı aracısı: SemrushBot-OCOB
Yasakla: /
SemrushBot-FT'nin sitenizi intihal kontrolü ve benzeri araçlar için taramasını engellemek için:
Kullanıcı aracısı: SemrushBot-FT
Yasakla: /
RyteBot'un sitenizi Ryte.com tarafından sağlanan araçlar için taramasını engellemek için:
Kullanıcı aracısı: RyteBot
Yasakla: /
SemrushBot-ESI'nin Semrush Enterprise Site Intelligence tarafından sağlanan hizmetler için sitenizi taramasını engellemek için:
Kullanıcı aracısı: SemrushBot-ESI
Yasakla: /
Web tarayıcınızın sunucu günlüğünde "dosya bulunamadı" hata mesajlarının görünmesini önlemek için boş bir "robots.txt" dosyası oluşturun.
SemrushBot'u IP adresi üzerinden engellemeye çalışmayın, çünkü ardışık IP engelleme yöntemlerini kullanmıyoruz.
Sıkça Sorulan Sorular
Semrush neden var olmayan veya garip URL parametrelerine sahip bir sayfayı taramaya çalışır?
Genel olarak, SemrushBot web sitenizde var olmayan sayfalar tespit ederse, taramayı durdurur. Ancak, web genelindeki diğer siteler bu sayfaya bağlantı veriyorsa, tarayıcımız artık var olmayan bir sayfayı aramaya devam edebilir.
SemrushBot neden giriş yapmaya, farklı şifreler denemeye ve anket formları göndermeye çalışıyor?
Bunun nedeni, giriş veya anket formunuzun GET yöntemi kullanılarak gönderilmesidir. Giriş verileri, istenen URL'nin bir parçası haline gelir ve tarayıcımız da dahil olmak üzere URL'yi bilen herkes tarafından erişilebilir. Bu tür formları engellemeye çalışsak da, form yöntemini POST olarak değiştirmenizi öneririz.
SemrushBot, site geçişi yaptıktan sonra robots.txt komutlarımıza uymuyor.
Bir siteyi taşımak istiyorsanız (örneğin, HTTP'den HTTPS'ye), robots.txt dosyasını da taşımayı unutmayın.
Kaynakça:google
