Безагентский сбор данных
Общие рекомендации
Безагентский способ с бора данных подразумевает собой использование Logstash и его плагинов.
Все нижеуказанные конфигурации работают при условии установленных плагинов сбора данных.
При разборе каких-либо данных на составляющие, рекомендуется придерживаться определённых стандартов для поддержания универсальности и улучшения миграции между версиями. Общие названия таких стандартов в Elastic - Elastic Common Schema (ECS). C версии Logstash 8.x по умолчанию используется стандарт v8. Для версий Logstash 7.x применение ECS опционально.
Мы рекомендуем придерживаться стандарта ECS v8.
Обращайте внимание на используемую версию Logstash при просмотре параметров для определённого плагина на официальном сайте.
В одном pipeline может быть несколько источников. Рекомендуется так делать только если собираемые данные из разных источников имеют одинаковый формат. Например, вы собираете в одном месте логи веб сервера nginx и требуется указать несколько файлов для обработки.
Некоторые плагины имеют ряд обязательных параметров. Список таких параметров приведен на официальной странице документации каждого плагина.
Зачастую плагины принимают информацию, представленную в различных форматах данных. Чтобы их нормально обработать и разбить для удобства дальнейшего анализа, необходимо использовать фильтры. Если получаемые данные вас устраивают и не требуют дополнительной обработки, то блок filter можно опустить.
Все плагины Logstash включены в дистрибутив инсталлятора Smart Monitor и устанавливаются автоматически. Мы используем Logstash версии 8.4, поэтому все примеры приведены для нее.