|
|
|||||||
| IT и Связь Обсуждение "айтишных" вопросов и средств связи |
 |
|
|
Опции темы | Опции просмотра |
27.01.2007, 10:35
|
#1 |
|
Заслуженный Участник
Откуда: Riga-Swords
Сообщений: 503
Благодарности: 323 в 110 сообщениях
 |
Как закрыть доступ граберу
С недавних пор грабер(Теle Port Pro)чистит сайт.Закачал его себе для пробы.Установили защиту от граберов,а этот падлюка всёравно пролазит.Кто чего посоветует?
__________________
С рожей не повезло - это когда покупаешь круглые темные очки, как у Джона Леннона, но выглядишь в них, как кот Базилио 
Последний раз редактировалось Roslin, 27.01.2007 в 10:38. |
|
|
| Зарегистрируйтесь или войдите под своим именем, чтобы спрятать этот рекламный блок |
|
27.01.2007, 20:03
|
#3 |
|
просто
Сообщений: 7,824
Благодарности: 2,301 в 1,077 сообщениях
|
Re: Как закрыть доступ граберу
падала она, когда проект переваливал за 65тысяч линков... а для большего нужно покупать специальную версию, которую скачивать с сайта не дают так просто...
не то, что wgеt или сurl в несколько потоков - хоть закачайся... Roslin, а ведется статистика в реальном времени? может, для особо активных юзеров время от времени вместо страницы показывать captcha? и если его не ввести - блокировать последующий доступ на несколько минут?
__________________
все вопросы по форуму VI направляйте администрации.
|
|
|
|
|
28.01.2007, 22:28
|
#4 |
|
Заслуженный Участник
Сообщений: 559
Благодарности: 126 в 85 сообщениях
|
Re: Как закрыть доступ граберу
если про ето Blocking Bad Bot User Agents ?
http://www.google.ie/search?hl=en&q=...G=Search&meta=
__________________
IDA Ireland |
|
|
|
|
28.01.2007, 22:36
|
#5 | |
|
просто
Сообщений: 7,824
Благодарности: 2,301 в 1,077 сообщениях
|
Re: Как закрыть доступ граберу
Цитата:
это тоже, конечно, не спасет от параноидального выкачивания где-нибудь по странице\файлу в минуту. придется делать мультисистемную проверку. скажем, если больше 20 страниц в минуту или больше 60 страниц за час. посмотри на своем сайте типичные паттерны юзеров, Roslin. и потом сделай проверку, что если они отличаются в более агрессивный браузинг - то проси ввести код. опять же, таким способом ты можешь обломать большинство поисковых роботов, если они будут шуршать по сайту слишком быстро... потому что они, как правило, кладут болт на указанную рекомендуемую задержку в robots.txt как способ все-таки поделиться информацией в поисковых системах - сделай sitemap и скорми его гуглу, яху, и мсн. к сожалению, яндекс пока сайтмэпы еще не сделал или можно смотреть ip ranges, откуда приходят запросы. если принадлежат google/yahoo/yandex - то разрешать загрузку без проверок.
__________________
все вопросы по форуму VI направляйте администрации.
Последний раз редактировалось abg, 28.01.2007 в 22:41. |
|
|
|
|
|
29.01.2007, 12:45
|
#6 | |
|
Заслуженный Участник
Откуда: SU->LV->EU on bed
Сообщений: 1,581
Благодарности: 1,139 в 457 сообщениях
|
Re: Как закрыть доступ граберу
Цитата:
|
|
|
|
|
|
30.01.2007, 17:34
|
#7 |
|
Заслуженный Участник
Откуда: Riga-Swords
Сообщений: 503
Благодарности: 323 в 110 сообщениях
|
Re: Как закрыть доступ граберу
Ладно,спсба всем,буду думать
__________________
С рожей не повезло - это когда покупаешь круглые темные очки, как у Джона Леннона, но выглядишь в них, как кот Базилио
|
|
|
|
|
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщ. |
| Россия согласилась закрыть Allofmp3.com | abg | Общие темы | 12 | 30.11.2006 09:39 |
| Закрыть бизнес нэйм | GOOSE | Общие темы | 5 | 09.11.2006 16:34 |
| Интернет доступ через модем | Arte | IT и Связь | 25 | 18.11.2004 14:48 |
Линейный вид
