Мониторинг и отчеты

Traffic Inspector Next Generation поддерживает ряд механизмов отчетности и мониторинга:

  • Мониторинг трафика с помощью NetFlow

  • Мониторинг системы с помощью RRDtool

  • Отчеты по веб-прокси

  • Журнал сетевого экрана pf

  • Системный журнал и syslog-ng

Мониторинг трафика с помощью NetFlow

NetFlow – технология и сетевой протокол для снятия сетевой статистики с сетевых интерфесов маршрутизаторов. NetFlow разработан Cisco и является де-факто промышленным стандартом, поддерживаемым сетевым оборудованием Cisco, Juniper и Unix-подобными системами.

Архитектура NetFlow предполагает три роли, которые выполняются устройствами:

  • сенсор / экспортер

  • коллектор

  • анализатор

Сенсор – это маршрутизатор, который собирает статистику по проходящему через него трафику и отправляет коллектору по протоколу NetFlow. В задачи коллектора входит хранение полученных данных и предоставление их анализатору. Анализатор анализирует собранные коллектором данные и формирует пригодные для чтения человеком отчёты (часто в виде графиков). Traffic Inspector Next Generation может одновременно выполняет роль всех трех компонентов архитектуры NetFlow. В частности, в TING используется анализатор Insight. Также поддерживается экспорт данных о потоках во внешние коллекторы.

Центральное понятие NetFlow – это поток, что отображено в названии технологии. Потоком считается набор пакетов, проходящих в одном направлении и характеризуемых рядом параметров (IP-адрес источника, IP-адрес назначения, порт источника, порт назначения, номер протокола, сетевой интерфейс и т.п.).

Когда сенсор определяет, что поток закончился, он отправляет информацию о потоке в коллектор. В зависимости от настроек он также может периодически отправлять в коллектор информацию о все еще идущих потоках.

Во FreeBSD, NetFlow реализован в виде модуля ядра ng_netflow (Netgraph) и по этой причине отличается быстрой работой с минимальными затратами (по сравнению с решениями вроде softflowd или pfflowd.).

На базе NetFlow в Traffic Inspector Next Generation реализован ряд отчетов:

  • Отчет по сетевой статистике

  • Отчет по наиболее популярным сетевым службам

  • Отчет по наиболее популярным IP-адресам назначения

Настройка NetFlow

Для настройки NetFlow Exporter зайдите в Создание отчетов -> NetFlow.

_images/netflow_settings.png

В поле Интерфейсы выберите все интерфейсы, с которых хотите собирать данные; обычно выбирают все доступные интерфейсы.

В поле Только исходящий выберите WAN-интерфейсы, чтобы избежать повторного подсчета натированного трафика.

Для возможности локального анализа с использованием Insight, включите Локальный захват пакетов.

В зависимости от ситуации вы можете использовать версию NetFlow 5 или 9. Версия 5 не поддерживает IPv6.

Добавьте точку сохранения (IP-адрес: порт, затем нажать Enter). Локальный IP-адрес будет добавлен автоматически, если выбран Локальный захват пакетов.

Экспорт данных NetFlow

В разделе Создание отчетов -> Анализ, нажмите на вкладку Экспорт.

Для экспортирования, выберите набор: * FlowSourceAddrTotals – Суммарные данные по IP-адресу источника * FlowInterfaceTotals - Суммарные данные по интерфейсу * FlowDstPortTotals - Суммарные данные по порту назначения * FlowSourceAddrDetails – Полные данные по IP-адресу источника * Выберите разрешающую точность в секундах (300,3600,86400) * Выберите диапазон дат и кликните клавишу Экспортировать.

Отчет по сетевой статистике

Заходим в меню Создание отчетов -> Анализ

В рамках данного отчета видно какой компьютер обращался на какой адрес по какому порту / сервису и сколько было передано данных в рамках данного взаимодействия.

_images/netflow_network_statistics.png

Можно ограничить вывод данных с помощью фильтров по диапазону дат, по порту назначения и IP-адресу источника. Поддерживается выгрузка данных в CSV-файлы для дальнейшего анализа в вашем любимом spreadsheet-приложении.

Отчет по наиболее популярным сетевым службам

Кольцевая диаграмма показывает трафик по наиболее популярным портам назначения / службам в процентном отношении. Щелчок по сектору кольцевой диаграммы открывает страницу с более детализированной информацией.

_images/netflow_topports_piechart.png

Отчет по наиболее популярным IP-адресам назначения

Кольцевая диаграмма по IP-адресам работает аналогично кольцевой диаграмме по портам и показывает наиболее популярные IP-адреса назначения.

_images/netflow_topdestinations_piechart.png

Мониторинг системы с помощью RRDtool

RRDtool — набор утилит для хранения, обработки и визуализации динамических данных (т.е. последовательность замеров некоторого изменяющегося во времени параметра). Примером таких данных может служить температура, загрузка процессора, сетевой трафик.

Все данные хранятся в кольцевой базе, размер которой остаётся неизменным. На базе RRDtool в Traffic Inspector Next Generation реализован ряд отчетов.

Настройка RRDtool

Настройка RRDtool осуществляется в разделе Создание отчетов -> Настройки.

_images/rrd_settings.png

Отчет по качеству Интернет-канала

_images/rrd_channel_quality.png

Отчет по использованию процессора

_images/rrd_processor.png

Отчет по использованию оперативной памяти

_images/rrd_memory.png

Отчет по количеству состояний трассировщика соединений сетевого экрана

_images/rrd_states.png

Мониторинг загрузки сетевых интерфейсов в реальном времени

В разделе Создание отчетов -> Графики трафика можно увидеть текущую загрузку сетевых интерфейсов и скорость работы пользовательских компьютеров.

_images/iface_speed.png

Отчеты по веб-прокси

На ряду со стандартными журналами работы веб-прокси, такими как:

  • Журнал прокси

  • Журнал доступа

  • Журнал хранилища

Вам доступны расширенные отчеты по веб-прокси, реализуемые с помощью дополнительного плагина os-squid-log-pg

Примечание

Данные плагины выполняют одну и ту-же функцию, используя разные типы баз данных для хранения данных отчетов, потому единовременно вы можете использовать только один из этих плагинов.

Установка плагина os-squid-log-pg

Для того, чтобы отчеты стали доступны в веб-интерфейсе, должен быть установлен плагин os-squid-log-pg.

Заходим в Система -> Прошивка -> Плагины, находим в списке плагин os-squid-log-pg и устанавливаем его нажав на плюс.

Просмотр отчетов

Отчеты по веб-прокси доступны в разделе Службы -> Веб-прокси -> Отчеты по Веб-прокси.

_images/proxy_report.png

Поддерживаемые типы отчетов:

  • Домены (по посещенным доменам)

  • Домены и пользователи (по пользователям и доменам)

  • Пользователи (по пользователям, генерировавшим запросы на прокси)

  • IP-адрес (по компьютерам, генерировавшим запросы на прокси)

  • URLs (по посещенным URL)

Можно ограничить вывод данных с помощью набора фильтров:

  • Начало периода отчета

  • Конец периода отчета

  • Имя пользователя

  • IP-адрес компьютера пользователя

  • По доменным именам

  • По URL-идентификаторам

  • По минимальному размеру объекта

  • По MIME-типу объектов

Работа с отчетом, как правило, начинается с генерации отчета по Пользователям. В поле Тип отчета выбираем Users. Нажимаем Применить для генерации отчета. В выводе можно увидеть список пользователей, которые работали через прокси, количество сделанных ими запросов, количество скачанных байт, время первого и последнего посещения.

_images/proxy_by_users.png

Щелкнув на пользователя, мы сгенерируем отчет по посещенным доменам для данного пользователя. При этом имя пользователя устанавливается в качестве фильтра отображения. В отчете видно количество запросов по каждому доменному имени, количество скачанных байт, время первого и последнего посещения. Допускается сортировка по всем колонкам отчета.

_images/proxy_by_user_by_dns.png

Далее можно сгенерировать отчет по URL, к которым обращался пользователь. Для этого, в поле Тип отчета выбираем URLs. Обратите внимание, что имя пользователя установлено в качестве фильтра отображения. Нажимаем Применить для генерации отчета. В отчете видно количество запросов по каждому URL-идентификатору, количество скачанных байт, время первого и последнего посещения. Допускается сортировка по всем колонкам отчета.

_images/proxy_by_user_by_url.png

Поддерживается отчет по активности с IP-адресов компьютеров.

_images/proxy_by_ip.png

Сохарнение настроек фильтров

Так же есть возможность сохранять настройки фильтров и подгружать ранее сохранённые. Это нужно, например, для удобства повторного применения настроек.

Выбираем нужный фильтр и жмем Cохранить:

_images/proxy_safe_filter.png

Появится окно, где нужно указать имя фильтра:

_images/proxy_safe_filter_window.png

Сохраненный фильтр отобразится в списке Filter List:

_images/proxy_safe_filter_list.png

Журнал сетевого экрана pf

В разделе Межсетевой экран -> Журналы, можно увидеть журнал работы сетевого экрана. Поддерживается ряд форматов отображения журнала:

  • Стандартное представление

  • Динамическое представление

  • Сводное представление

  • Открытый вид

Наиболее полезно Стандартное представление журнала. Здесь можно видеть судьбу каждого пакета, обработанного сетевым экраном. Отображается IP-адрес и порт источника, IP-адрес и порт назначения, входящий интерфейс, время обработки пакета и действие, которое было применено к пакету.

_images/firewall_journal.png

Системный журнал

Настройка системного журнала

Настройка системного журнала, производятся в Система -> Настройки -> Журналирование.

_images/syslog_settings.png

Здесь доступные такие параметры как:

  • Записи в GUI

  • Отключить локальное журналирование

  • Размер файла для чередования журналов

  • Счетчик чередуемых элементов

  • Журнал веб-сервера

  • Журналировать пакеты, соответствующие правилам блокировки по умолчанию из набора правил

  • Журналировать пакеты, соответствующие правилам разрешения по умолчанию из набора правил

  • Журналировать пакеты, блокированные правилом «Блокировать bogon сети»

  • Журналировать пакеты, блокированные правилом «Блокировать частные сети»

  • Описание фильтра

Просмотр системного журнала

В разделе Система -> Журнал, доступен системный журнал. Системный журнал реализован на базе Syslog. В системном журнале содержатся сообщения от различных подсистем Traffic Inspector Next Generation.

_images/syslog.png