Простой HTTP сниффер на Perl

Решил вот написать свой HTTP сниффер. Не то, чтобы существующие решения, всякие там FireBug, Wireshark, tcpdump и urlsnarf. плохо работали. Просто какие-то они не совсем удобные или не всегда делают то, что мне действительно нужно.

Ну как «решил написать» — как обычно пишутся программы на Perl. Я взял модули Net::Pcap и Sniffer::HTTP, набросал графический интерфейс в wxFormBuilder и связал сии компоненты синей изолентой с помощью пары сотен строк кода. В результате получилась такая программа:

Так сниффер, который я условно назвал HttpSniff, выглядит в Xubuntu (CLI версия также предусмотрена). Слева отображается запрос, справа — ответ сервера, внизу представлен лог всех HTTP запросов. Если запросов посылается много, лишние можно скрыть с помощью фильтров:

На данном скриншоте программа запущена уже под Windows, что как бы намекает на ее кроссплатформенность. Обратите внимание, что проверка, соответствует ли хост правилу фильтрации, производится следующим образом:

$host .= '$' ;

for my $hp ( @ { $hp_list } ) {

$host_match = ( $hp -> { host } eq '*' ) || ( index ( $host. $hp -> { host } ) == 0 ) ;

В итоге строке «1.2.3.» соответсвуют все хосты в подсети 1.2.3/24. а строке «1.2.3.4» — как адрес 1.2.3.4, так и 1.2.3.49. Если требуется указать точный адрес, его следует ввести с долларом на конце, например «1.2.3.4$». Костыль, наверное, но пока программа работает так.

Для запуска сниффера вам потребуются библиотека wxWidgets, установку которой я уже как-то описывал. а также несколько модулей, названия которых вы можете посмотреть в начале скрипта. Если не ошибаюсь, все модули, кроме Net::Pcap, без проблем устанавливаются с помощью утилиты cpan.

Под FreeBSD модуль Net::Pcap устанавливается так:

Под Windows придется установить WinPcap. Из дистрибутивов Perl я бы рекомендовал CitrusPerl, поскольку с ним в комплекте идет wxPerl. Модуль Net::Pcap под Windows ставится так:

ppm install http: // www.bribes.org / perl / ppm / Net-Pcap.ppd

Если же вам не хочется ставить кучу лишнего софта ради какого-то там сниффера, можете скачать сборку HttpSniff под Windows. которая не требует ничего, кроме WinPcap. О том, как делать такие сборки, я в свое время уже рассказывал .

Следует обратить внимание на несколько «особенностей» в работе HttpSniff. Во-первых, HTTPS запросы он не перехватывает — это вам не FireBug. Зато он умеет отслеживать запросы, посылаемые Flash, чем могут похвастаться не все браузеры. Во-вторых, я замечал, что при большом объеме трафика (скажем, при включенных торрентах) сниффер может «терять» часть запросов. Я так и не смог понять, как решить эту проблему.

Наконец, сниффер основан на модуле Sniffer::HTTP, который на данный момент, вообще-то говоря, еще сыроват. Во время работы он не только сыпет всякие варнинги, но и порой бросает такие исключения:

Can't call method "scheme" on an undefined value at. line 251

По этой причине мне пришлось обернуть вызов метода handle_eth_packet в eval. Других косяков я пока не замечал и в целом сниффер работает вполне сносно.

Код сниффера, который был актуален на момент публикации этой заметки, вы можете скачать отсюда. Если же вас интересует самая свежая версия скрипта, можете скачать ее из репозитория на BitBucket. Там же вы можете послать пулл реквест или создать тикет в багтрекере.

Если вам понравилась эта заметка, вас может заинтересовать статья Анализ сетевого трафика с помощью Net::Pcap в блоге Владимира Леттиева, а также видеозапись доклада Douglas E. Miles Writing GUI Applications with wxPerl and XRC и презентация к нему .

Мне будет очень приятно, если вы попробуете сниффер, а затем сообщите в комментариях, работает ли он вообще и что вам понравилось или не понравилось в нем. Если при чтении заметки у вас возникли какие-то вопросы, я, как обычно, с радостью на них отвечу.

Дополнение: В последнее время я все же стал отдавать предпочтение консольным снифферам .

HTTP Sniffer

HTTP sniffer is an application that monitors traffic data to and from a computer network link. It can be an independent software application or hardware device equipped with the relevant firmware and software. Sniffers exist in a variety of platforms including both commercial and open source versions. Some sniffers can only intercept data from TCP/IP protocols but the more complex ones even capture and decode data packets for the more secure SSL /HTTPS protocol that use asymmetric cryptography.

Sniffers come in a variety of forms and the major ones include online, proxy, and application sniffers.

Online sniffers are limited to basic analyzing of a particular webpage. You provide a link to check and they respond with the HTTP header and HTTP content of the requested page. Online sniffers can be used to quickly check the basic server settings and see the source code of the requested page.

Proxy sniffers monitor all traffic between internet applications, including your web browser and the web on a certain protocols like HTTP or FTP. These sniffers can only operate with applications configured to use proxy servers and unlike other sniffers, these may have an effect on the traffic. Proxy sniffers may decode SSL / HTTPS traffic, but developers need to install a special self-signed root certificate issued by proxy vendor. This certificate is needed to implement the Man-in-the-middle technique for decrypting SSL.

Application sniffers are the most powerful ones. They are standalone applications that work on a developer’s computer and have the ability to capture network traffic for all protocols. Some of them can even capture data packets from other computers in the same network. Application sniffers are not limited to Man-in-the-middle technique when decrypting the SSL / HTTPS traffic as proxy sniffers. Some may use API hooks for decoding SSL and don’t require root certificate to operate. But API hooks have limitted usage, for example, API hooks don't work with recent versions of Google Chrome or Opera. HTTP Debugger is an example of application sniffer. Versions prior to v5.0 were using API Hooks for decoding SSL while new versions use Man-in-the-middle technique.

Modern browsers provide some basic information about website traffic usage (for example for Google Chrome you can see this information on Network tab of Web Inspector). This information, though, is limited and not easy to analyze.

HTTP sniffers however, provide in depth information on every aspect of loading a webpage and/or any web resource including but not limited to built-in HTML, CSS, JS, JSON, XML syntax highlighters, JSON and XML tree structure viewers, built-in image viewers, automatic server error and performance bottlenecks detecting and even website structure tree viewer. With some sniffers you can modify and reply back modified HTTP requests to the web server to test it with various conditions in order to reproduce and fix website errors.

Some advanced sniffers can visualize your traffic in form of charts or diagrams and generate HTTP traffic reports.

Network and System Administrators use sniffers to monitor and troubleshoot the network traffic. For example, administrators may analyze the HTTP data packets sent by malware programs and identify the security risks, or to detect undesirable activities and maintain effective network data flow.

HTTP Debugger is an advanced HTTP sniffer written by developers for developers to provide all in depth information for debugging websites and Internet applications.

HTTP Debugger Screenshot

В поисках хорошего HTTP(S) Sniffer а - Форум об интернет-маркетинге

В поисках хорошего HTTP(S) Sniffer'а

Нужен сниффер HTTP(S)-заголовков, обязательно с отображением POST-данных.

Пробовал следующие продукты:

Wireshark - громоздкий, сложно фильтровать данные, которые мне не нужны.

Free HTTP Sniffer - вываливался с ошибкой.

CommView - неудобный просмотр заголовков, сложная фильтрация.

EffeTech HTTP Sniffer - хороший сниффер, но он обрезает POST-данные.

SmartSniff - неудобная фильтрация, плохое отображение заголовков, POST-данные вообще не отображаются.

HttpAnalyzerStdV4 - после запуска начинает лагать система, в триал версии нельзя посмотреть POST-данные.

Firefox addon "HttpWatch" - убивал фокс при загрузке HTTPS страниц, непонятно возможно ли в лайт версии просмотреть POST-данные

Firefox addon "Live HTTP headers" - не отображает POST-данные, нет навигации по просмотренным страницам.

Firefox addon "UrlParams" - не отображает POST-данные, когда работаешь с HTTPS, нет навигации по просмотренным страницам.

Помогите, пожалуйста, найти хороший сниффер заголовков.

__________________

Вашей девушке не хватает романтики? Черпните её на сайте «Я Люблю Романтику» .

Последний раз редактировалось Progr@mmer\.; 08.04.2009 в 00:38.

HTTP Sniffer

Apple iPad 3 Wi-Fi

Репутация: -1

HTTP Sniffer

версия: 1.4

Последнее обновление программы в шапке: 26.05.2014