Oct 30, 2018
#elasticsearch
Обнаружение аномалий это довольно обширная тема. Тут нужно учитывать множество факторов: время суток, регион, индекс и.т.д. Для начала нужно вообще разобраться, что для вас является аномалией. Для этого необходимо вручную оценить тренд, сделать визуализацию, и посмотреть в логи за то время, когда, как вам казалось, произшло что-то странное.
Поиск аномалий Самый простой путь - это накидать небольшой дашборд с поиском и Timelion графиком по q='*'. Далее двигаясь по временной шкале можно визуально оценить те события, которые на наш взгляд кажутся странными.
…
Dec 12, 2017
#elasticsearch
#idec
Поиск на dynamic.lessmore.pw Как это ваще устроено??? На самом деле API – это открытый всем Elasticsearch, который предоставляет гору возможностей для поиска за счет движка Lucene. Давайте что-нибудь найдем!
Вот в этом вот комменте я пообещал рассказать как это все сделать. Приступим.
Давайте для начала попробуем поискать этот самый коммент: ii://XWShDDcuR4C8PcrTFdGl. Здесь и далее мы будем использовать только curl.
curl -XPOST -d '{"query": {"query_string" : {"fields" : ["msgid"], "query" :"XWShDDcuR4C8PcrTFdGl"}}}' https://dynamic.
…
Sep 2, 2017
#linux
#elasticsearch
#logstash
Все привыкли пользоваться связкой ELK. А что делать, если хочется отправить логи в уже существующий ELK с хоста на котором памяти в обрез?
У меня получилось так, что на виртуалке с сайтиком всего 512Мб памяти и логстешь при запуске просто выжирал ее всю и падал. Никакие Xmx Xms не помогали. Самое интересное, что логи-то nginx я заставил писать в JSON, а значит logstash выступает просто проксей до эластика.
Вот так можно заставить писать nginx в JSON.
…