Статистика web-сёрфинга без прокси сервера

[Tonny_Bennet]

Здравствуйте.

Есть сеть /24 с пользователями получающими адреса по DHCP. Есть шлюз на базе Ubuntu Server (скоро переезд на Mikrotik) занимающийся NAT. Есть AD (в теории). Есть ленивый сисадмин - я.

Когда-то работал squid в качестве прокси сервера, и т.к. я ленив - он работал в прозрачном режиме. Были ограничения на соцсети и youtube, разбитые на сети и время. Потом соцсети и youtube дружно перескочили на https:\\ фильтрация контента на основе url сломалась и проксировать трафик в прозрачном режиме стало невозможно. Многие скажут есть схемы с подменой сертификатов и т.д. Я почему-то считаю это серьёзным костылём, да и вообще хочу отказаться от прокси сервера.

Есть возможность развернуть схему на базе netflow - сенсоры и коллектор. Всё красиво, но как быть с клиентами которые получают адрес по DHCP? Сегодня он один, а завтра в общем виде другой. И если сотрудник пересел с места на место.

Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины?

Скажите есть ли варианты логировать статистику посещения веб ресурсов без прокси-сервера (всё прозрачно), но с какой-либо авторизацией? Захотел человек в интернет, вылезла ему страничка авторизации, он влогинился (или по krberos вошёл) и устремился в дебри необъяной сети. А кто-то (демон/служба/сервис) прозрачно логирует всё это дело. Зашёл он параллельно с другого компьютера/ноутбука/планшета/телефона под своей учёткой и это тоже залогировалось и т.д.

Какие сервисы используют большие компании для ведения подобного рода статистики?

[James Marsh]

Всё красиво, но как быть с клиентами которые получают адрес по DHCP? »
Жесткая привязка по МАС-адрессам? Не? :)

[El Scorpio]

Всё красиво, но как быть с клиентами которые получают адрес по DHCP? Сегодня он один, а завтра в общем виде другой. »
Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса.

Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE) »
Стоит. Поскольку в параметрах Firefox и других альтернативных программ изначально указано "использовать системные параметры прокси", никто ничего не заметит.
А на маршрутизаторе разрешить входящие/исходящие соединения только для IP прокси-сервера. Таким образом в обход прокси никто не выйдет.

Захотел человек в интернет, вылезла ему страничка авторизации, он влогинился (или по krberos вошёл) и устремился в дебри необъяной сети »
Обычный режим работы SQUID. Очень удобно настраивать через Webmin. А Firefox и другие программы вполне успешно запоминают пароли запроса прокси.
Также Squid вроде бы поддерживает авторизацию через Kerberos

[Tonny_Bennet]

Жесткая привязка по МАС-адрессам? Не? »
Не, придётся ручками прописывать и потом менять постоянно. Я ж ленивый ;)

Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса. »

В чём тогда смысл DHCP? Что-то изменилось в сети и в следующий раз они обновят аренду через половину срока аренды - 15 дней или даже 6 месяцев? А если клиент отвалится и не освободит аренду, DHCP не будет ему отдавать занятый адрес. По-моему это не совсем хорошо.

Стоит. Поскольку в параметрах Firefox и других альтернативных программ изначально указано "использовать системные параметры прокси", никто ничего не заметит. »
Т.е. всё ПО под системными настройками понимает адрес прокси в свойствах обозревателя (то, что политиками отдали).

на маршрутизаторе разрешить входящие/исходящие соединения только для IP прокси-сервера. Таким образом в обход прокси никто не выйдет. »
Только для dst port 80, 8080, 443.

Обычный режим работы SQUID. Очень удобно настраивать через Webmin. А Firefox и другие программы вполне успешно запоминают пароли запроса прокси.
Также Squid вроде бы поддерживает авторизацию через Kerberos »
Слышал об этом, но не настраивал пока. А как тогда автоматизировать, что бы при паедении/отключении прокси сервера трафик пошёл через NAT маршрутизатора? Использовать постоянно прозрачный режим с проверкой доступности адреса прокси сервера? Так https перестанет работать.

[cameron]

Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины? »
почитайте про WPAD - все браузеры понимают.

относительно окна аунтификации на прокси в браузере - если у вас есть терминальные серверы, то все эти agentless решения будут показывать траффик от первого аунтифицированного пользователя терминального сервера.

а в остальном у микротика (по-моему) есть встроенный Captive Portal

[Tonny_Bennet]

почитайте про WPAD - все браузеры понимают. »
Web Proxy Auto-Discovery Protocol (WPAD) (протокол автоматической настройки прокси)
Т.е. от прокси сервера мне никуда не деться :(.

относительно окна аунтификации на прокси в браузере - если у вас есть терминальные серверы, то все эти agentless решения будут показывать траффик от первого аунтифицированного пользователя терминального сервера. »
У меня есть решения, основанные на тонких клиентах и терминальных сессиях. Получается, что разделить веб трафик от разных пользователей с терминального сервера нереально ибо он сыпется с одного адреса.

Captive Portal »
Сделать разрешалку/запрещалку выхода в интернет это хорошо. А как к ней статистику прикрутить?

Хочется минимизировать количество оборудования на удалённых точках (3-5 рабочих мест). Сейчас в таком подразделении может стоять только один Mikrotik, который выпускает в интернтет, раздаёт wi-fi, держит тунели и маршрутизирует трафик. Ради сбора статистики ставить туда ещё одну машину и понимать на ней прокси - не хочу. А вот научить MT сливать данные мне хотелось бы.

Стоит задумываться о 802.1X Port Access Control ?

[cameron]

Tonny_Bennet,
вы путате солёное с горячим.
у вас сейчас одна задача, не простая - аунтифицировать пользователя с терминальной сессии (всё остальное так или иначе реализуемо, хотя с горами костылей).
я не знаю agentless способа аунтификации пользователей с терминального сервера.
если этим можно принебречь - горы костылей вам в руки.
вообще, ИМХО, в нынешние времена трафик уже никого не интересует.

[El Scorpio]

Цитата El Scorpio:
Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса. »

В чём тогда смысл DHCP? Что-то изменилось в сети и в следующий раз они обновят аренду через половину срока аренды - 15 дней или даже 6 месяцев? А если клиент отвалится и не освободит аренду, DHCP не будет ему отдавать занятый адрес. По-моему это не совсем хорошо. »
В удобстве.
Не нужно вручную контролировать базу DNS
Не нужно вводить руками параметры на десятках компьютеров.
Не нужно вести журналы учёта адресов и постоянно бояться, что случится дублирование адресов.
Не нужно бегать по всем кабинетам, как в ягобицепсы раненный, при необходимости изменить один параметр.

Что же касается "простаивающих адресов". У вас настолько большая сеть, что может переполниться маска /24? Сделайте маску /23 - этого хватит очень надолго.

Получается, что разделить веб трафик от разных пользователей с терминального сервера нереально ибо он сыпется с одного адреса. »
При использовании авторизации SQUID пишет в логи не только IP, но и логин сеанса связи. Правда работу на терминальных серверах не я проверял.
Однако TMeter вроде бы может вести учёт по именам пользователей, работающих на данном компьютере. Так что можно вести учёт совокупного трафика терминального сервера, а затем анализировать его отдельно.

А как тогда автоматизировать, что бы при паедении/отключении прокси сервера трафик пошёл через NAT маршрутизатора? »
Никак.
Разве что в базе DNS сделать CNAME "Proxy" на основной сервер и написать скрипт, который будет периодически опрашивать его, а при потере изменять эту ссылку на запасной.
Впрочем обычно прокси на linux, установленном на самые обычные старые системные блоки, работают месяцами точно :)
Ну а на если вы на надёжном сервере сделаете виртуальную машину, то вообще проблем никаких не будет.

[Rezor666]

Есть ленивый сисадмин - я. »
Плохо это.

Я почему-то считаю это серьёзным костылём, да и вообще хочу отказаться от прокси сервера. »
Это не костыль, это вполне логично.
Не хотите подменять сертификаты? Пропишите прокси на https через GPO.

Всё красиво, но как быть с клиентами которые получают адрес по DHCP? »
Получать статистику не по ip, а по dns, если это возможно.

Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины? »
Многие браузеры берут настройки из IE

Скажите есть ли варианты логировать статистику посещения веб ресурсов без прокси-сервера (всё прозрачно), но с какой-либо авторизацией? »
Нет

[El Scorpio]

Цитата Tonny_Bennet:
Всё красиво, но как быть с клиентами которые получают адрес по DHCP? »

Получать статистику не по ip, а по dns, если это возможно. »
SQUID составляет статистику по IP, а SARG при формировании отчётов считывает соответствующие имена из DNS.
Однако в результате получается, что используются имена компьютеров на момент составления отчётов.

[Rezor666]

El Scorpio, в данном случае я имел ввиду ПО типа ntop, а не squid.
Для squid я поступил бы иначе, сделал бы связку Squid + AD и с помощью GPO указал бы прокси сервер.
Так же если мне память не изменяет то SARG довольно старый и куда проще и лучше использовать lightsquid или free-sa

[Tonny_Bennet]

вообще, ИМХО, в нынешние времена трафик уже никого не интересует. »
Он (трафик) не интересовал руководство ровно год, а то и два. В итоге мне написали письмо с просьбой сделать отчёт по некоторому отделу.

Сделайте маску /23 - этого хватит очень надолго. »
Маска уже /23 и сетей таких четыре :). Просто указал /24 как пример, понятный очень многим.

В чём тогда смысл DHCP? »
В удобстве. »
И это я прекрасно понимаю, вопрос был риторическим. Типа: нафиг мне DHCP если срок аренды очень большой? Сейчас DHCP с привязкой к клиентам по МАС-адресам. Постоянно прописывать и перепрописывать конфиг уже надоело.

При использовании авторизации SQUID пишет в логи не только IP, но и логин сеанса связи. »
В принципе мне этот вариант подойдёт, но параллельно придётся держать прокси сервер для учёта статистики. А я от него практически отказался.

Плохо это. »
Лень бывает разная. "Мне всё лень и я ничего не делаю" или "мне лень что-то делать дважды или постоянно, так что я сделаю один раз правильно и надолго". Стараюсь относить себя ко второму типу.

Получать статистику не по ip, а по dns, если это возможно. »
SQUID составляет статистику по IP, а SARG при формировании отчётов считывает соответствующие имена из DNS.
Однако в результате получается, что используются имена компьютеров на момент составления отчётов. »

Опять же в чём разница статистики по ip и по dns? В том что адрес компьютера dns разрешил в имя? Как тогда быть с терминальным сервером или с компьютером, за которым работает более одного пользователя.

[cameron]

Так что можно вести учёт совокупного трафика терминального сервера, а затем анализировать его отдельно. »
в воздухе отчётливо запахло костылями.