Извлечение IP адресов из логов Апача

Каталог программ "Home Soft"

Модераторы: Igor-san, nord73

Извлечение IP адресов из логов Апача

Сообщение Igor-san » Пн авг 08, 2016 8:41 pm

Сегодня был обескуражен письмом от хостера о "превышении нагрузок на сервер". Тариф очень даже не дешевый, специальный чтобы выдержать Битрикс. Там еще несколько сайтов, но самый посещаемый этот. Если 300 уников в день можно назвать посещаемым.

Стал копать, оказалось, что в пиковые нагрузки тысячи ботов ползают на сайте, причем явно не поисковые. Что это, спам, ддос, парсинг ... кто ж его знает. Пока решил забанить эти АйПи в htaccess, ну и использовать Клаудфларе (правда не знаю, в бесплатной версии помогает ли он от этого).

Ну и чтобы было легче извлекать этих гадов из многомегабайтных логов Апача написал простую программу GetIpFromLog. Работа простая, открываете файл access_log (хотя это может быть любой файл с АйПи адресами), он извлекает уникальный адреса и сортирует их по числу посещений (адрес : хитов) . После этого можно скопировать в буфер, отсекая ниже заданной посещаемости (50 для примера).

[Для просмотра изображения необходимо включить JavaScript]


Далее для массового вычисления подсетей я использую свою другую пока сырую программу, но можно это сделать для небольшого числа адресов и вручную через сервисы типа smart-ip.net

Скачать программу можно отсюда https://dl.dropboxusercontent.com/u/8028117/GetIpFromLog.zip
Онлайн-лотереи мира ________ Бесплатная программа для анализа лотерей
गते गते पारगते पारसंगते बोधि स्वाहा —
Аватара пользователя
Igor-san
Site Admin
Site Admin
 
Сообщения: 10149
Зарегистрирован:
Чт май 08, 2003 4:00 am
Откуда: Moscow

Re: Извлечение IP адресов из логов Апача

Сообщение Апельсин » Вт авг 09, 2016 1:48 am

здорово! а то шерстят бесполезники... чего хотят...?
Аватара пользователя
Апельсин
Гуру
Гуру
 
Сообщения: 2570
Зарегистрирован:
Сб авг 07, 2010 7:51 pm
Откуда: Прикольно: Я - Гуру, иду себе и курю!

Re: Извлечение IP адресов из логов Апача

Сообщение Igor-san » Вт авг 09, 2016 5:17 pm

Апельсин писал(а):здорово! а то шерстят бесполезники... чего хотят...?

Да кто ж его знает. Может кто-то досит несильно (думаю, если бы сильно, то хостер бы отключил нафиг сайт). Сегодня только 2 подсети обнаружил ботов (естественно поисковые я фильтровал, тут оказался еще наш госпоисковик Спутник обитает), и их в бан. Все в основном с америкосов, но есть доминикана и германия. Может кого-то незаслуженно забанил, слишком много их вчера было, и хотя на полуавтомате проверял в программе, она слишком сырая (давно когда то писал, вот вытащил и впопыхах доделывал).

[Для просмотра изображения необходимо включить JavaScript]
Онлайн-лотереи мира ________ Бесплатная программа для анализа лотерей
गते गते पारगते पारसंगते बोधि स्वाहा —
Аватара пользователя
Igor-san
Site Admin
Site Admin
 
Сообщения: 10149
Зарегистрирован:
Чт май 08, 2003 4:00 am
Откуда: Moscow

Re: Извлечение IP адресов из логов Апача

Сообщение Igor-san » Вт авг 09, 2016 8:11 pm

У меня тут возникла идея развития программы - расширенный анализ логов. Но не знаю, хватит ли запала или как обычно заброшу со временем. Я вчера вначале погуглил на тему бесплатной программы под виндос Windows для анализа логов веб сервера Апач Apache. Нашел несколько программ типа Webalizer и AWStats, который запускаются из командной строки и там же конфигурируются :devil: . Ну не люблю я командную строку, хотя еще во времена операционки ДОС приходилось с ней работать, я уже молчу про периодические увлечения UNIX, LINUX и FREE BSD.

Но и в этих программах не было нужной мне статистики. Вот и пришлось реализовывать самому. А сейчас чешутся руки продолжить анализ логов, когда, откуда, куда и сколько ...
Онлайн-лотереи мира ________ Бесплатная программа для анализа лотерей
गते गते पारगते पारसंगते बोधि स्वाहा —
Аватара пользователя
Igor-san
Site Admin
Site Admin
 
Сообщения: 10149
Зарегистрирован:
Чт май 08, 2003 4:00 am
Откуда: Moscow


Вернуться в Каталог программ

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1