Задовбали всілякі боти, що сканують без гальмування, деякі навіть не хочуть розуміти параметри robots.txt
Задля збереження роботи сервера вирішив додати запис як блокувати, та кого блокувати
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
BrowserMatchNoCase "Baiduspider" bots BrowserMatchNoCase "SemrushBot" bots BrowserMatchNoCase "BLEXBot" bots BrowserMatchNoCase "AhrefsBot" bots BrowserMatchNoCase "DotBot" bots BrowserMatchNoCase "Exabot" bots BrowserMatchNoCase "SeznamBot" bots BrowserMatchNoCase "aiHitBot" bots BrowserMatchNoCase "spbot" bots BrowserMatchNoCase "MJ12bot" bots BrowserMatchNoCase "oBot" bots BrowserMatchNoCase "DeuSu" bots BrowserMatchNoCase "ia_archiver" bots BrowserMatchNoCase "MetaURI" bots BrowserMatchNoCase "FlipboardProxy" bots BrowserMatchNoCase "AspiegelBot" bots Order Allow,Deny Allow from ALL Deny from env=bots |
Та й усе 🙂
Click to rate this post!
[Total: 0 Average: 0]
