Elastic и Python. Поиск в списке индексов.

На днях столкнулся с интересной проблемой. Используя модуль elasticsearch для Python захотел задать поиск в списке индексов. Конкретно хочу искать данные за несколько последних суток. Понятно, что можно использовать range в фильтре запроса, но зачем? Ведь у меня индексы разбиты по дням, достаточно задать список индексов для поиска. Но как его задать правильно в параметрах…

Elastic для маленьких. Оптимизируем для небольшой компании.

В сети можно найти много ресурсов о том, как оптимизировать крупные кластеры Elasticsearch. И ничего нет об оптимизации маленьких кластеров, тем более совсем никаких не кластеров, а просто одного узла. Тем не менее, в конфигурации «по умолчанию» ваш узел Elasticsearch продержится не долго. Думаю, и неделю не простоит. Надо менять параметры конфигурации. К сожалению, менять их «тупо»…

Логи Windows на ELK

Это, конечно, не сложно. Может и не стоило бы об этом писать, но я больше хотел обратить внимание на развертывание системы посредством MS System Center. Будем использовать последнюю версию Winlogbeat. Сейчас последняя версия — 5.1.1. Качаем отсюда https://www.elastic.co/downloads/beats/winlogbeat два варианта: 32-х и 64-x разрядные. На System Center делаем шару winlogbeat для everyone и внутри неё…

Upgrade ELK to 5.0

Как проводить апгрейд Во-первых, запишите новый адрес и ключ реапозитария ELK и установите apt-transport https Во-вторых, остановите все сервисы ELK. Я обновлял elasticsearch простой переустановкой, файлы конфигурации будут сохранены (там вопрос будет, обновлять или нет, по умолчанию — нет). А вот logstash я обновлял апгрейдом. Я думал, что обновится только logstash, а нет. Обновились сразу…

Заменяем OSSIM более простой конструкцией на основе ELK

Такая вот осенняя мысль закралась в мою голову. Заменить OSSIM чем-то более простым и более производительным. Чтобы не было «лишних» функций, например, собственно SIEM, и чтобы лучше работалось с «сырыми» логами. Я остановился на стеке Elasticsearch — Logstash — Kibana (ELK) в качестве хранилища, парсера, и средства просмотра и анализа логов. Основными компонентами OSSIM являются…

Logger для OSSIM. Как сделать бесплатно.

Одним из недостатков Open Source версии AlienVault OSSIM является отсутствие логгера. Он есть только в версии Enterprise, которая не всем по карману. Оказывается этот недостаток можно устранить очень легко и, главное, очень эффективно. В самом OSSIM для этого уже почти всё есть, надо только научиться использовать и чуть-чуть добавить. А поможет нам в этом MongoDB…

ORAMON переписан

Полностью переписал код. Сделал его в два раза короче и, надеюсь, понятнее. Больше событий регистрируется в ossim_log. Всё залил на https://bitbucket.org/esguardian/oramon/. Это будет рабочая бета. Дальше буду изменять в новой ветке.