Sergey Pasechnik (![[info]](http://l-stat.livejournal.com/img/userinfo.gif){kind=small} sevson) wrote,@ 2006-01-30 17:55:00 |
|
Недокументированная фича Рамблера в robots.txt
Влад Шабанов указал на сабж на форуме Рамблера.
Честно говоря, не знал.
User-agent: StackRambler
Disallow: *partner=
и все урлы, в которых есть подстрока 'partner=' будут игнорироваться.
Это такая недокументированная фича Рамблера. До сих пор поддерживается и бережно переносится из одной версии робота в другую.
Upd: Кстати говоря - Яндекс тоже мог бы ввести у себя эту диррективу. Я думаю, что она оказалась бы весьма полезна для многих вебмастеров.
Влад Шабанов указал на сабж на форуме Рамблера.
Честно говоря, не знал.
User-agent: StackRambler
Disallow: *partner=
и все урлы, в которых есть подстрока 'partner=' будут игнорироваться.
Это такая недокументированная фича Рамблера. До сих пор поддерживается и бережно переносится из одной версии робота в другую.
Upd: Кстати говоря - Яндекс тоже мог бы ввести у себя эту диррективу. Я думаю, что она оказалась бы весьма полезна для многих вебмастеров.
