Статистика web-сёрфинга без прокси сервера
 

Здравствуйте.

Есть сеть /24 с пользователями получающими адреса по DHCP. Есть шлюз на базе Ubuntu Server (скоро переезд на Mikrotik) занимающийся NAT. Есть AD (в теории). Есть ленивый сисадмин - я.

Когда-то работал squid в качестве прокси сервера, и т.к. я ленив - он работал в прозрачном режиме. Были ограничения на соцсети и youtube, разбитые на сети и время. Потом соцсети и youtube дружно перескочили на https:\\ фильтрация контента на основе url сломалась и проксировать трафик в прозрачном режиме стало невозможно. Многие скажут есть схемы с подменой сертификатов и т.д. Я почему-то считаю это серьёзным костылём, да и вообще хочу отказаться от прокси сервера.

Есть возможность развернуть схему на базе netflow - сенсоры и коллектор. Всё красиво, но как быть с клиентами которые получают адрес по DHCP? Сегодня он один, а завтра в общем виде другой. И если сотрудник пересел с места на место.

Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины?

Скажите есть ли варианты логировать статистику посещения веб ресурсов без прокси-сервера (всё прозрачно), но с какой-либо авторизацией? Захотел человек в интернет, вылезла ему страничка авторизации, он влогинился (или по krberos вошёл) и устремился в дебри необъяной сети. А кто-то (демон/служба/сервис) прозрачно логирует всё это дело. Зашёл он параллельно с другого компьютера/ноутбука/планшета/телефона под своей учёткой и это тоже залогировалось и т.д.

Какие сервисы используют большие компании для ведения подобного рода статистики?

Жесткая привязка по МАС-адрессам? Не? :)

Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса.

Стоит. Поскольку в параметрах Firefox и других альтернативных программ изначально указано "использовать системные параметры прокси", никто ничего не заметит.
А на маршрутизаторе разрешить входящие/исходящие соединения только для IP прокси-сервера. Таким образом в обход прокси никто не выйдет.

Обычный режим работы SQUID. Очень удобно настраивать через Webmin. А Firefox и другие программы вполне успешно запоминают пароли запроса прокси.
Также Squid вроде бы поддерживает авторизацию через Kerberos

Не, придётся ручками прописывать и потом менять постоянно. Я ж ленивый ;)

В чём тогда смысл DHCP? Что-то изменилось в сети и в следующий раз они обновят аренду через половину срока аренды - 15 дней или даже 6 месяцев? А если клиент отвалится и не освободит аренду, DHCP не будет ему отдавать занятый адрес. По-моему это не совсем хорошо.

Т.е. всё ПО под системными настройками понимает адрес прокси в свойствах обозревателя (то, что политиками отдали).

Только для dst port 80, 8080, 443.

Слышал об этом, но не настраивал пока. А как тогда автоматизировать, что бы при паедении/отключении прокси сервера трафик пошёл через NAT маршрутизатора? Использовать постоянно прозрачный режим с проверкой доступности адреса прокси сервера? Так https перестанет работать.

почитайте про WPAD - все браузеры понимают.

относительно окна аунтификации на прокси в браузере - если у вас есть терминальные серверы, то все эти agentless решения будут показывать траффик от первого аунтифицированного пользователя терминального сервера.

а в остальном у микротика (по-моему) есть встроенный Captive Portal

Т.е. от прокси сервера мне никуда не деться :(.

У меня есть решения, основанные на тонких клиентах и терминальных сессиях. Получается, что разделить веб трафик от разных пользователей с терминального сервера нереально ибо он сыпется с одного адреса.

Сделать разрешалку/запрещалку выхода в интернет это хорошо. А как к ней статистику прикрутить?

Хочется минимизировать количество оборудования на удалённых точках (3-5 рабочих мест). Сейчас в таком подразделении может стоять только один Mikrotik, который выпускает в интернтет, раздаёт wi-fi, держит тунели и маршрутизирует трафик. Ради сбора статистики ставить туда ещё одну машину и понимать на ней прокси - не хочу. А вот научить MT сливать данные мне хотелось бы.

Стоит задумываться о 802.1X Port Access Control ?

Tonny_Bennet,
вы путате солёное с горячим.
у вас сейчас одна задача, не простая - аунтифицировать пользователя с терминальной сессии (всё остальное так или иначе реализуемо, хотя с горами костылей).
я не знаю agentless способа аунтификации пользователей с терминального сервера.
если этим можно принебречь - горы костылей вам в руки.
вообще, ИМХО, в нынешние времена трафик уже никого не интересует.

В удобстве.
Не нужно вручную контролировать базу DNS
Не нужно вводить руками параметры на десятках компьютеров.
Не нужно вести журналы учёта адресов и постоянно бояться, что случится дублирование адресов.
Не нужно бегать по всем кабинетам, как в ягобицепсы раненный, при необходимости изменить один параметр.

Что же касается "простаивающих адресов". У вас настолько большая сеть, что может переполниться маска /24? Сделайте маску /23 - этого хватит очень надолго.

При использовании авторизации SQUID пишет в логи не только IP, но и логин сеанса связи. Правда работу на терминальных серверах не я проверял.
Однако TMeter вроде бы может вести учёт по именам пользователей, работающих на данном компьютере. Так что можно вести учёт совокупного трафика терминального сервера, а затем анализировать его отдельно.

Никак.
Разве что в базе DNS сделать CNAME "Proxy" на основной сервер и написать скрипт, который будет периодически опрашивать его, а при потере изменять эту ссылку на запасной.
Впрочем обычно прокси на linux, установленном на самые обычные старые системные блоки, работают месяцами точно :)
Ну а на если вы на надёжном сервере сделаете виртуальную машину, то вообще проблем никаких не будет.

Плохо это.

Это не костыль, это вполне логично.
Не хотите подменять сертификаты? Пропишите прокси на https через GPO.

Получать статистику не по ip, а по dns, если это возможно.

Многие браузеры берут настройки из IE

Нет

SQUID составляет статистику по IP, а SARG при формировании отчётов считывает соответствующие имена из DNS.
Однако в результате получается, что используются имена компьютеров на момент составления отчётов.

El Scorpio, в данном случае я имел ввиду ПО типа ntop, а не squid.
Для squid я поступил бы иначе, сделал бы связку Squid + AD и с помощью GPO указал бы прокси сервер.
Так же если мне память не изменяет то SARG довольно старый и куда проще и лучше использовать lightsquid или free-sa

Он (трафик) не интересовал руководство ровно год, а то и два. В итоге мне написали письмо с просьбой сделать отчёт по некоторому отделу.

Маска уже /23 и сетей таких четыре :). Просто указал /24 как пример, понятный очень многим.

И это я прекрасно понимаю, вопрос был риторическим. Типа: нафиг мне DHCP если срок аренды очень большой? Сейчас DHCP с привязкой к клиентам по МАС-адресам. Постоянно прописывать и перепрописывать конфиг уже надоело.

В принципе мне этот вариант подойдёт, но параллельно придётся держать прокси сервер для учёта статистики. А я от него практически отказался.

Лень бывает разная. "Мне всё лень и я ничего не делаю" или "мне лень что-то делать дважды или постоянно, так что я сделаю один раз правильно и надолго". Стараюсь относить себя ко второму типу.

Опять же в чём разница статистики по ip и по dns? В том что адрес компьютера dns разрешил в имя? Как тогда быть с терминальным сервером или с компьютером, за которым работает более одного пользователя.