Извлечение IP адресов из логов Апача

Каталог программ "Home Soft"

Модераторы: Igor-san, nord73

Ответить
Аватара пользователя
Igor-san
Site Admin
Site Admin
Сообщения: 10350
Зарегистрирован: Чт май 08, 2003 4:00 am
Откуда: Moscow
Благодарил (а): 5 раз
Поблагодарили: 33 раза
Контактная информация:

Извлечение IP адресов из логов Апача

Сообщение Igor-san » Пн авг 08, 2016 8:41 pm

Сегодня был обескуражен письмом от хостера о "превышении нагрузок на сервер". Тариф очень даже не дешевый, специальный чтобы выдержать Битрикс. Там еще несколько сайтов, но самый посещаемый этот. Если 300 уников в день можно назвать посещаемым.

Стал копать, оказалось, что в пиковые нагрузки тысячи ботов ползают на сайте, причем явно не поисковые. Что это, спам, ддос, парсинг ... кто ж его знает. Пока решил забанить эти АйПи в htaccess, ну и использовать Клаудфларе (правда не знаю, в бесплатной версии помогает ли он от этого).

Ну и чтобы было легче извлекать этих гадов из многомегабайтных логов Апача написал простую программу GetIpFromLog. Работа простая, открываете файл access_log (хотя это может быть любой файл с АйПи адресами), он извлекает уникальный адреса и сортирует их по числу посещений (адрес : хитов) . После этого можно скопировать в буфер, отсекая ниже заданной посещаемости (50 для примера).




Далее для массового вычисления подсетей я использую свою другую пока сырую программу, но можно это сделать для небольшого числа адресов и вручную через сервисы типа smart-ip.net

Скачать программу можно отсюда ссылка не для гостей и ботов
Онлайн-лотереи мира ________ Бесплатная программа для анализа лотерей
गते गते पारगते पारसंगते बोधि स्वाहा —

Аватара пользователя
Апельсин
Гуру
Гуру
Сообщения: 2571
Зарегистрирован: Сб авг 07, 2010 7:51 pm
Откуда: Прикольно: Я - Гуру, иду себе и курю!

Re: Извлечение IP адресов из логов Апача

Сообщение Апельсин » Вт авг 09, 2016 1:48 am

здорово! а то шерстят бесполезники... чего хотят...?

Аватара пользователя
Igor-san
Site Admin
Site Admin
Сообщения: 10350
Зарегистрирован: Чт май 08, 2003 4:00 am
Откуда: Moscow
Благодарил (а): 5 раз
Поблагодарили: 33 раза
Контактная информация:

Re: Извлечение IP адресов из логов Апача

Сообщение Igor-san » Вт авг 09, 2016 5:17 pm

Апельсин писал(а):здорово! а то шерстят бесполезники... чего хотят...?
Да кто ж его знает. Может кто-то досит несильно (думаю, если бы сильно, то хостер бы отключил нафиг сайт). Сегодня только 2 подсети обнаружил ботов (естественно поисковые я фильтровал, тут оказался еще наш госпоисковик Спутник обитает), и их в бан. Все в основном с америкосов, но есть доминикана и германия. Может кого-то незаслуженно забанил, слишком много их вчера было, и хотя на полуавтомате проверял в программе, она слишком сырая (давно когда то писал, вот вытащил и впопыхах доделывал).

Онлайн-лотереи мира ________ Бесплатная программа для анализа лотерей
गते गते पारगते पारसंगते बोधि स्वाहा —

Аватара пользователя
Igor-san
Site Admin
Site Admin
Сообщения: 10350
Зарегистрирован: Чт май 08, 2003 4:00 am
Откуда: Moscow
Благодарил (а): 5 раз
Поблагодарили: 33 раза
Контактная информация:

Re: Извлечение IP адресов из логов Апача

Сообщение Igor-san » Вт авг 09, 2016 8:11 pm

У меня тут возникла идея развития программы - расширенный анализ логов. Но не знаю, хватит ли запала или как обычно заброшу со временем. Я вчера вначале погуглил на тему бесплатной программы под виндос Windows для анализа логов веб сервера Апач Apache. Нашел несколько программ типа Webalizer и AWStats, который запускаются из командной строки и там же конфигурируются :devil: . Ну не люблю я командную строку, хотя еще во времена операционки ДОС приходилось с ней работать, я уже молчу про периодические увлечения UNIX, LINUX и FREE BSD.

Но и в этих программах не было нужной мне статистики. Вот и пришлось реализовывать самому. А сейчас чешутся руки продолжить анализ логов, когда, откуда, куда и сколько ...
Онлайн-лотереи мира ________ Бесплатная программа для анализа лотерей
गते गते पारगते पारसंगते बोधि स्वाहा —

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость