Фильтрация веб-контента на прокси

Настройка браузера на компьютере пользователя

Для того, чтобы веб-прокси смог фильтровать трафик пользователей, этот трафик должен проходить через веб-прокси. Существует несколько способов настройки веб-прокси на компьютерах пользователей.

Настройка веб-прокси вручную

Веб-прокси использует порт 3128 для проксирования HTTP, HTTPS (метод CONNECT) и FTP (метод GET).

Для настройки браузера, зайдите в сетевые настройки и укажите адрес и порт прокси-сервера. Убедитесь, что IP-адрес веб-прокси прописан в исключениях.

На следующем изображении пример настройки прокси-сервера в веб-браузере Internet Explorer [1].

Примечание

Многие браузеры под управлением ОС Windows могут принимать настройки прокси-сервера из настроек Internet-Explorer.

Автоматическая настройка веб-прокси с помощью групповых политик Active Directory

Если используется доменная среда Active Directory, то настройки веб-прокси можно распространять на клиентские компьютеры с помощью групповых политик .

Примечание

Для настройки веб-прокси с помощью групповых политик, воспользуйтесь соответствующим разделом документации к используемому у вас контроллеру домена или помощью специалиста, ответственного на настройку групповых политик в вашей организации.

Автоматическая настройка веб-прокси с помощью протокола автоматической настройки прокси

Данный механизм подразумевает использование протокола автоматической настройки прокси (WPAD )

Traffic Inspector Next Generation имеет поддержку данного протокола.

В случае использования встроенной поддержки протокола автоматической настройки прокси, обратитесь к соответствующему разделу документации.

Настройка прозрачного проксирования

Прокси-сервер Traffic Inspector Next Generation поддерживает работу в прозрачном режиме.

Смысл «прозрачного проксирования» заключается в том, что пользователи не имеют явных настроек на веб-прокси, но тем не менее их трафик все равно будет перехвачен и попадет на веб-прокси.

Настройка прозрачного проксирования описана в разделе Прозрачное проксирование.

Настройки на устройстве Traffic Inspector Next Generation

Перед тем, как переходить к настройкам фильтрации, осуществите базовую настройку веб-прокси в соответствии с инструкцией Базовые настройки веб-прокси.

Запрет работы в обход веб-прокси

Фильтрация трафика осуществляется при его обработке веб-прокси сервером. Если пользователи будут иметь возможность работать в обход веб-прокси, то правила прокси не будут применены.

Для того, чтобы запретить обращение пользователей в Интернет в обход веб-прокси, произведите следующие действия.

Пройдите в Межсетевой экран -> Правила на вкладку LAN и создайте два правила со следующими настройками:

Правило для блокировки HTTP-трафика, идущего мимо прокси

Действие	Блокировка
Интерфейс	LAN
Протокол	TCP
Источник	LAN net
Диапазон портов назначения	HTTP
Описание	Блокировка HTTP-трафика мимо прокси

Правило для блокировки HTTPS-трафика, идущего мимо прокси

Действие	Блокировка
Интерфейc	LAN
Протокол	TCP
Источник	LAN net
Диапазон портов назначения	HTTPS
Описание	Блокировка HTTPS-трафика мимо прокси

Traffic Inspector Next Generation имеет ряд преднастроенных правил, которые разрешают любое обращение в Интернет со стороны внутренней локальной сети. Для того, чтобы новые правила применялись, их нужно разместить до преднастроенных правил. Расположите правила в порядке, указанном на скриншоте:

Сохраните и примените изменения.

Расширенная фильтрация веб-прокси

Функционал реализован в плагине Пользовательские и групповые политики для прокси (os-proxy-useracl).

См. также

Расширенная фильтрация веб-прокси

Базовая фильтрация веб-прокси.

Функционал данной фильтрации не требует установки дополнительных плагинов в систему, однако обладает меньшим функционалом, чем Расширенная фильтрация веб-прокси и ее использование целесообразно только в тех случаях, когда функционал расширенной фильтрации не требуется.

Предупреждение

Во избежание конфликтов, не рекомендуется одновременная настройка и использование базовой и расширенной фильтрации.

Поддерживаемые типы фильтрации

Веб-прокси Squid поддерживает широчайшие возможности фильтрации по различным критериям. В настоящее время, через веб-интерфейс Traffic Inspector Next Generation можно управлять следующими типами фильтрации:

Фильтрация по IP-адресам
Фильтрация по портам назначения
Фильтрация по типу User Agent (по типу браузера)
Фильтрация по типу контента (по MIME-типам)
Фильтрация по URL (по общим белым и черным спискам)
Фильтрация по скачиваемым спискам

Примечание

Ниже описывается ввод различных значений в текстовые поля веб-интерфейса. Не забывайте нажимать клавишу Enter после ввода каждого элемента или ставить запятую после каждого элемента. В противном случае, элемент не будет добавлен в поле.

Фильтрация по IP-адресам
Настройки данного типа фильтрации доступны в разделе Службы ‣ Веб-прокси ‣ Администрирование, вкладка Перенаправляющий прокси, пункт меню Список управления доступом.

Ниже описывается ввод IP-адресов в текстовые поля. Допускается указание одиночных IP-адресов и IP-сетей:
192.168.1.77 192.168.1.0/24
В поле Разрешенные подсети можно задать сети, из которых разрешено работать через веб-прокси. Сети, к которым шлюз подключен через LAN-адаптеры, считаются разрешенными по умолчанию.

В поле IP-адреса без ограничений можно задавать IP-адреса хостов. Для пользователей, работающих с данных IP-адресов, не будут применяться аутентификация и черные списки доступа.

В поле Заблокированные IP-адреса можно задавать IP-адреса хостов. Запрещенный хост не сможет пользоваться услугами данного прокси.

Фильтрация по портам назначения
Настройки данного типа фильтрации доступны в разделе Службы -> Веб-прокси -> Администрирование, вкладка Перенаправляющий прокси, пункт меню Список управления доступом, поле Разрешенные TCP-порты назначения.

При указании портов, можно использовать диапазоны, например:
222–226
И добавлять комментарии, разделяемые двоеточием, например:
22:ssh
Примечание

Squid преднастроен таким образом, что разрешает проксирование запросов только к некоторому множеству портов, считающихся безопасными (указаны на скриншоте). Проксирование SSL/TLS-соединений методом CONNECT разрешено только для порта TCP/443.

Фильтрация по типу User Agent (по типу браузера)
Настройки данного типа фильтрации доступны в разделе Службы -> Веб-прокси -> Администрирование, вкладка Перенаправляющий прокси, пункт меню Список управления доступом, поле Блокировать browser/user-agent строки.

При указании User Agent строк, можно использовать синтаксис регулярных выражений.

Регулярное выражение:
^(.)+Macintosh(.)+Firefox/37\.0
даст совпадение с версией Firefox revision 37.0 для Macintosh

Регулярное выражение:
^Mozilla
даст совпадение с всеми браузерами на базе Mozilla

Фильтрация по типу контента (по MIME-типам)
Настройки данного типа фильтрации доступны в разделе Службы -> Веб-прокси -> Администрирование, вкладка Перенаправляющий прокси, пункт меню Список управления доступом, поле Блокирировать ответы с конкретным MIME-типом.

MIME-тип можно указывать в синтаксисе регулярных выражений.

Регулярное выражение:
video/flv
даст совпадение с Flash Video

Регулярное выражение:
application/x-javascript
даст совпадение с Java-скриптами

Фильтрация по URL (по общим белым и черным спискам)
Порядок обработки списков

При использовании базовой фильтрации, Traffic Inspector Next Generation предусматривает несколько списков доступа для нужд фильтрации по URL.

Списки, используемые для разрешения доступа, называются белыми. Списки, используемые для запрещения доступа, называются черными.

Поддерживаются удаленные списки, т.е. списки, скачиваемые по сети с определенного URL.

Для понимания результирующей политики доступа, важно знать о порядке обработки списков:
1. общий белый список
2. общий чёрный список
3. скачиваемые чёрные списки
Синтаксис регулярных выражений в списках

При указании URL в списках можно использовать синтаксис регулярных выражений, например:

Регулярное выражение:
mydomain.com
даст совпадение с URL *.mydomain.com

Регулярное выражение:
^https?:\/\/([a-zA-Z]+)\.mydomain\.
даст совпадение с URL http(s)://textONLY.mydomain.*

Регулярное выражение:
\.gif$
даст совпадение с *.gif но не с *.giftest

Регулярное выражение:
\[0-9]+\.gif$
даст совпадение с 123.gif но не с test.gif

Настройки данного типа фильтрации доступны в разделе Службы -> Веб-прокси -> Администрирование, вкладка Перенаправляющий прокси, пункт меню Список управления доступом.

В поле Белый список можно задать URL разрещенных ресурсов.

В поле Черный список можно задать URL запрещенных ресурсов.

Примечание

Общий белый список имеет приоритет перед общим черным списком.

Фильтрация по скачиваемым спискам

Рассмотрим пример фильтрации рекламы с помощью скачиваемого списка.

Для данного примера мы используем список, доступный по адресу: http://pgl.yoyo.org/adservers/serverlist.php?hostformat=nohtml

Список представляет собой простой текстовый файл, который выглядит следующим образом:
101com.com
101order.com
123found.com
180hits.de
180searchassistant.com
207.net
247media.com
24log.com
24log.de
24pm-affiliation.com
2mdn.net
2o7.net
360yield.com
...
Пройдите в Службы -> Веб-прокси -> Администрирование и кликните на вкладку Удаленные списки контроля доступа. Далее, кликните на + в нижнем правом углу формы для создания нового списка. Укажите следующие значения:

Включен

Флажок установлен

Имя файла

yoyoads

URL

http://pgl.yoyo.org/adservers/serverlist.php?hostformat=nohtml

имя пользователя

(оставить пустым)

пароль

(оставить пустым)

категории

(оставить пустым)

Игнорировать сертификаты SSL

(оставить пустым)

Описание

Yoyo Ads Blacklist

Сохраните изменения.

Нажмите Скачать списки контроля доступа и применить.

Настройка фильтрации рекламы с помощью скачиваемого списка завершена.

Фильтрация нежелательных категорий сайтов

Рассмотрим пример фильтрации нежелательных категорий сайтов с помощью скачиваемого списка.

Для данного примера мы используем Список для веб-категоризации UT1 , поддерживаемый Фабрисом Прижаном из Тулузского университета и распространяемый под лицензией Creative Commons либо список http://www.shallalist.de , бесплатный для личного использования.

Создайте скачиваемый список.

Нажмите Скачать списки контроля доступа

Повторно откройте созданный список на редактирование.

В разделе категории выберите необходимые категории.

Нажмите кнопку Сохранить

Нажмите кнопку Применить

Ограничение скорости веб-прокси.

Данный функционал позволяет настроить ограничение скорости доступа к ресурсам Интернет и доступен только при настроенном режиме Расширенной фильтрации веб-прокси.

Примечание

Данная настройка ограничивает скорость веб-прокси только при незашифрованном трафике http://.

Настройка ограничения скорости веб-прокси для шифрованного трафика https:// требует настройки перехвата и дешифровки HTTPS-соединений (SSL Bump).

Для настройки ограничения скорости перейдите в Службы ‣ Веб-прокси ‣ ACL на пользователей и группы.

Перейдите на вкладку Правила ‣ Ограничение скорости.

Для создания правила ограничения скорости, необходимо создать правило и заполнить необходимые атрибуты по аналогии с правилами фильтрации :

Класс	См. классы ограничения скорости..
Приоритет	Порядок обработки.
Пользователь/Группа	Выберите список пользователей/групп, которые будут обрабатываться в данном правиле.
Домены	Выберите список доменов, которые будут обрабатываться в данном правиле.
Netpolice	Выберите списки Netpolice, которые будут обрабатываться в данном правиле.
IP-адреса источника	Выберите список адресов сетей источника, которые будут обрабатываться в данном правиле.
IP-адреса назначения	Выберите список адресов сетей назначения, которые будут обрабатываться в данном правиле.
Браузер/user-agents	Выберите список юзер-агентов браузеров, которые будут обрабатываться в данном правиле.
Расписания	Выберите список расписаний, которые будут обрабатываться в данном правиле.
MIME типы	Выберите список MIME ресурсов, которые будут обрабатываться в данном правиле.
MAC-адреса	Выберите список MAC адресов, которые будут обрабатываться в данном правиле.
Удаленные списки контроля доступа	Выберите удаленный список, который будет обрабатываться в данном правиле.

Класс ограничения скорости

Имеется четыре класса ограничения скорости, предоставляющие разный функционал. Настройте необходимый вам:

В поле Общая укажите скорость (Байт/с), которая будет выделена на весь трафик, который подпадает под заданные критерии фильтра.

К примеру, если вы создадите подобное правило для IP-адреса назначения = 8.8.8.8, то вся загрузка информации с данного ресурса будет ограничена заданной вами скоростью.

В поле Общая укажите скорость (Байт/с), которая будет выделена на весь трафик, который подпадает под заданные критерии фильтра.

В поле Индивидуальная укажите скорось (Байт/с), которая будет выделена на индивидуальный хост (маска подсети начиная от /24 и заканчивая /32 - сети класса С).

В поле Сеть укажите скорось (Байт/с), которая будет выделена на подсеть (маска подсети начиная от /17 и заканчивая /24 - сети класса В).

Таким образом, вы можете помимого общего ограничения скорости закачки на всех задать еще и скорость на всю подсеть (если ваш прокси-сервер обслуживает несколько подсетей) и индивидуальную скорость каждому хосту в вашей локальной сети, чтобы избежать как возможного занятия всей полосы пропускания одним хостом (ПК), так и возможного занятия всей полосы пропускания одной из подсетей.

К примеру, если вы создадите подобное правило для IP-адреса назначения = 8.8.8.8, зададите общее ограничение скорости 50000, индивидуальное 5000, а сеть 20000, то каждому из хостов (ПК) вашей локальной сети будет выделена полоса пропускания 5000 Байт/с. даже, если общая полоса будет свободна, общим ограничением на подсеть, в которой находятся хосты (ПК) в 20000 Байт/с, и общим ограничнием на всех 50000 Байт/с.