Доброго дня Гість ( Вхід | Реєстрація )

 
 
 Reply to this topicStart new topicStart Poll

Каскадний · [ Стандартний ] · Лінійний

> ip-адреса ботов поисковиков, есть тут web мастера ? ;-)

Підписка на тему | Повідомити другу | Версія для друку
admin   
post Dec 5 2006, 22:31
Відправлено #1


президент клуба
Group Icon

Група: Admin
Повідомлень: 5,860
Реєстрація: 27-December 04
Користувач №: 1
Репутация: 67
Авто: Chery & Ford Focus

balance: 765
вот разбирая логи нашел что сегодня приходил на сайт бот от APORT-а,
GOOGLE.com так вообще круглосуточно на форуме тусит smile.gif

---------------------------------------------------------------------------------
66.249.66.198 - crawl-66-249-66-198.googlebot.com (GOOGLE)
194.67.18.201 - indexer10.aport.ru (APORT)
---------------------------------------------------------------------------------

кто еще какие знает ? smile.gif

p.s. по мере ковыряния логов буду пополнять список


--------------------
YOUTUBE

TELEGRAM https://t.me/lanos_in_ua

FACEBOOK https://www.facebook.com/groups/lanos.in.ua/
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
reklama   
post Dec 5 2006, 22:31
Відправлено #














--------------------
YOUTUBE

TELEGRAM https://t.me/lanos_in_ua

FACEBOOK https://www.facebook.com/groups/lanos.in.ua/
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
NickC   
post Dec 6 2006, 09:11
Відправлено #2


Завсегдатай
*****

Група: Members2
Повідомлень: 1,111
Реєстрація: 17-October 05
Користувач №: 954
Репутация: 1
$bot_name=array('Yandex','msnbot','BigmirSpider','StackRambler','Googlebot','RufusBot','uaportalbot','Aport','NG/2.0','TurtleScanner');

во их сколько =) и это - далеко не полный список.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
DarkAngel   
post Dec 6 2006, 09:34
Відправлено #3


Завсегдатай
*****

Група: Members2
Повідомлень: 447
Реєстрація: 29-June 06
Користувач №: 2,261
Репутация: 7
Yahoo Bot
Gigablast Bot
Ask Jeeves Bot
Punto Bot
oBot
IA.Archiver Bot
TurnitinBot
Fast Bot
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Bambino   
post Dec 7 2006, 16:04
Відправлено #4


Хоттабыч
*****

Група: Members2
Повідомлень: 1,574
Реєстрація: 27-April 06
Користувач №: 1,905

Репутация: 7
Имхо просили IP-адреса... shuffle.gif
admin: А зачем ваще надо?
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Bambino   
post Dec 7 2006, 16:13
Відправлено #5


Хоттабыч
*****

Група: Members2
Повідомлень: 1,574
Реєстрація: 27-April 06
Користувач №: 1,905

Репутация: 7
QUOTE(admin @ Dec 5 2006, 22:31)
вот разбирая логи нашел что сегодня приходил на сайт бот от APORT-а,
GOOGLE.com так вообще круглосуточно на форуме тусит  smile.gif

---------------------------------------------------------------------------------
66.249.66.198 - crawl-66-249-66-198.googlebot.com (GOOGLE)
194.67.18.201 - indexer10.aport.ru (APORT)
---------------------------------------------------------------------------------

кто еще какие знает ?  smile.gif

p.s. по мере ковыряния логов буду пополнять список
*


Имхо, идентифицировать боты по айпи не есть гут.. потому как этих айпи пруд пруди... обычно по имени бота...

А так ваще вот, которые чаще всего посещают меня...

CODE

66.249.65.170 - "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
72.5.115.43 - "Mozilla/5.0 (Windows;) NimbleCrawler 2.0.1 obeys UserAgent NimbleCrawler For problems contact: crawler@healthline.com"
74.6.65.229 - "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
206.169.110.66 - "page_verifier http://www.securecomputing.com/goto/pv"
85.25.147.48 - "MELBOT"
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
admin   
post Dec 8 2006, 22:29
Відправлено #6


президент клуба
Group Icon

Група: Admin
Повідомлень: 5,860
Реєстрація: 27-December 04
Користувач №: 1
Репутация: 67
Авто: Chery & Ford Focus

balance: 765
QUOTE
admin: А зачем ваще надо?

Да просто интересно, какой бот где по форуму лазит.
А движок IPB знает некоторые из перечисленных выше, но почему то показывает только Google.

Еще один вопрос, как заставить Yandex переиндексировать сайт
чаще ?


--------------------
YOUTUBE

TELEGRAM https://t.me/lanos_in_ua

FACEBOOK https://www.facebook.com/groups/lanos.in.ua/
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Bambino   
post Dec 8 2006, 23:12
Відправлено #7


Хоттабыч
*****

Група: Members2
Повідомлень: 1,574
Реєстрація: 27-April 06
Користувач №: 1,905

Репутация: 7
QUOTE(admin @ Dec 8 2006, 22:29)
Да просто интересно, какой бот где по форуму лазит.

Дык из лога же видно какой... blink.gif

QUOTE(admin @ Dec 8 2006, 22:29)
Еще один вопрос, как заставить Yandex переиндексировать сайт
чаще ?
*


А никак... Паук ходит как ему вздумается...
Можешь, конечно, воспользоваться этими тегами:

<meta name="revisit" content="7 days">
<meta name="revisit-after" content="7 days">

И заодно переписать движок форума, чтобы он генерил линки вместо таких

CODE

http://forum.lanos.in.ua/index.php?showtopic=10419&st=0&p=157849


такие

CODE

http://forum.lanos.in.ua/index.php/showtopic/10419/st/0/p/157849


Поисковики не любят динамические страницы, хотя тот же гугл их индексирует.

Повідомлення відредагував Bambino - Dec 8 2006, 23:15
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
NickC   
post Dec 12 2006, 09:36
Відправлено #8


Завсегдатай
*****

Група: Members2
Повідомлень: 1,111
Реєстрація: 17-October 05
Користувач №: 954
Репутация: 1
QUOTE
И заодно переписать движок форума


lol.gif lol.gif lol.gif
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
« Попередня тема · IT клуб · Наступна тема »
 

Reply to this topicTopic OptionsStart new topic
2 чол. читають цю тему (2 Гостей та 0 Прихованих Користувачів)
0 Користувачів:
 

Спрощена версія Зараз: 28th April 2024 - 08:40