Robots.txt Oluşturucu
Tarayıcı bot kurallarını görsel olarak yapılandırın ve geçerli bir robots.txt dosyası üretin.
İlgili araçlar
Nasıl Kullanılır
- 1Bir hazır örnek seçin veya her User-agent için kural grupları oluşturun.
- 2Allow ve Disallow yollarını satır satır ya da virgülle girin; en uzun eşleşen kuralı görmek için yol testini kullanın.
- 3Mutlak sitemap URL’sini ekleyin; tekrar, çelişki ve tüm siteyi engelleme uyarılarını inceleyip robots.txt dosyasını kopyalayın veya indirin.
Bu araç hakkında
User-agent tarayıcı grubunu seçer. Disallow eşleşen yolların taranmamasını ister; Allow daha özel bir yolu yeniden açabilir. Sitemap tarayıcıları mutlak site haritası adresine yönlendirir. Boş User-agent, yinelenen/çelişen yollar ve robots.txt dosyasını güvenlik ya da kesin dizinden kaldırma aracı sanmak yaygın hatalardır. Oluşturma ve test tarayıcınızda kalır.