Системы и методы защиты от несанкционированных рассылок

1.1 Системы  и методы защиты от несанкционированных  рассылок 

На данный момент существует достаточно большое количество различных  способов защитить свой почтовый ящик от бесконечных атак туристических  путевок, платных семинаров и  т.п. Методы борьбы со спамом разделяют на два вида:

1. Предотвращающие рассылку таких писем.
2. Препятствующие получению спама.

В первом случае это всевозможные законы, запрещающие такую рассылку, а также новые почтовые протоколы, использующие аутентификацию отправителя  и т.п.

Во втором случае это методы фильтрации почтовых сообщений, которые делятся по принципу фильтрации на традиционные и обучаемые, а также по целевой аудитории на персональные и серверные.

Для традиционных методов  характерно определение данных, характеризующих  классификацию сообщений, экспертом. В отличие от них обучаемые методы несут в себе технологии интеллектуального анализа данных (Data Mining).

В настоящее, время на рынке программного обеспечения, существуют множество программ для борьбы со спамом. Принципы действия подобных программ весьма различны, одни из самых простейших ограничиваются использованием так называемых «черных списков». Но уровень эффективности таких фильтров весьма низок в связи с огромным количеством ip-адресов и почтовых ящиков находящихся в наличие у людей, занимающихся такими рассылками и невозможностью отследить хотя бы большую часть появляющихся вновь подобного рода ресурсов. Более совершенные и сложные системы имеют в наличие механизмы доставки писем с подтверждением. Принцип работы этих систем заключается в том, что пользователю, посылающему письмо, приходится проходить процедуру подтверждения своего письма, что в свою очередь не способны делать системы рассылающие спам. Такой подход достаточно эффективен, но имеет целый ряд серьезных недостатков. Недостатки систем использующих подобные алгоритмы ярким образом проявляются при всевозможных регистрациях, в тех случаях, когда программа-робот высылает пользователю какую-либо информацию, например пароль и логин при регистрации на форумах, при ежедневной рассылке заказанных новостей, получении открыток от друзей и во многих других подобных случаях, когда невозможно сделать подтверждение. Еще более совершенные, а зачастую и более дорогие, системы построены на основе технологии контент-анализа. Использование таких систем позволяет отфильтровать порядка 80 – 90 % спама. Такие системы анализируют уже само содержание письма по набору символов в заголовке письма, используют и могут накапливать свою базу знаний относительно входящей почты, пользователь может выполнять так называемое обучение системы защищающей его ящик от спама. В подобного рода фильтрах широко используется частотный анализ текста письма, методы многомерного анализа, такие как кластерный анализ, распознавание образов, факторный анализ, и т.п.

В системах, построенных  при помощи подобного рода алгоритмов, широко используются методы распознавания  текстов на естественном языке. Проблемы понимания текста на естественном языке  во многом зависят от знания предметной области.

Понимание текста требует знаний о целях анализируемого текста и о контексте, также важно учитывать недосказанность или иносказательность.  При распознавании и анализе текста самого письма, в наиболее сложных системах используются механизмы анализа тональности текста, что позволяет значительно повысить эффективность таких фильтров.

 

 

 

 

 

 

Спамоборона.

«Спамооборона» обладает мощной системой анализа содержимого письма. Специальный  анализатор разделяет письмо на «чистую» составляющую, воспринимаемую человеком, и «грязную», содержащую, в частности, невидимый для пользователя текст и бессмысленные данные (информационный шум). Это позволяет эффективно бороться с трюками спамеров, выявляя характерные особенности оформления и содержимого писем.

Одновременно с этим происходит анализ технической информации о письме — проверяется достоверность информации об отправителе, анализируется подлинность заголовков письма, учитываются особенности настройки сетей и почтовых систем отправителей.

Поставщиком данных для системы  правил является обновляемая база знаний, которая включает данные RBL, шинглы и наборы эвристик.

Решение «спам — не спам» принимается  с учетом значимости сработавших  правил, каждое из которых по отдельности  не обладает достаточным весом.

 

 

Рисунок 1 – Схема работы фильтра «Спамоборона»

«Шингл» — это специальным  образом рассчитываемая метрика  письма, позволяющая выявлять массовые рассылки. Алгоритм расчета шинглов  основан на определении уникальных характеристик схожих сообщений. RBL (Realtime Blackhole List) — это список IP-адресов  открытых почтовых релеев, прокси-серверов и неадминистрируемых сетей, с которых рассылается спам. Яндекс поддерживает собственный RBL.

Критериями оценки качества работы спам-фильтров являются полнота и  точность фильтрации. Под полнотой подразумевается процент обнаруженного спама, точность — это количество ложных срабатываний. «Спамооборона» выявляет свыше 90% спама при единицах ложных срабатываний на 100 тыс. сообщений. Персональные настройки системы позволяют улучшить точность фильтрации [http://www.so.yandex.ru/technique.xml].

 

Спамтест.

Технология Спамтест предназначена  для распознавания и фильтрации нежелательных массовых почтовых рассылок (спама) на основе анализа содержания писем. В рассматриваемой технологии используются эвристические лингвистические  методы анализа содержания почтовых сообщений (контентная фильтрация).

Постоянное ведение и регулярное (несколько десятков раз в сутки) обновление базы данных специализированной лингвистической лабораторией.

Спамтест объединяет известные  «формальные» методы с интеллектуальными методами контентной фильтрации, осуществляющими распознавание сообщений по их содержанию. Существенной особенностью фильтра является возможность распознавания нежелательных сообщений путём анализа их содержания. Фильтр осуществляет автоматическую рубрикацию сообщений, то есть отнесение входных сообщений к одной или нескольким категориям на основе смыслового анализа их текста.

 

 

Спамтест использует четыре основных метода:

1. Проверяется наличие в письме признаков спамерского содержания: определённого набора и распределения по письму специфических словосочетаний. Заметим, что фильтр Спамтест анализирует не только текст самого письма, но и его вложения. По каждому спамерскому письму может быть автоматически создана так называемая лексическая сигнатура, позволяющая распознать это письмо даже с небольшими модификациями (в пределах 5-10%).
2. Письмо проверяется на вхождение адреса отправителя и IP-адреса отправителя в чёрные списки, которые ведут провайдеры и различные общественные организации (так называемые RBL - Real-time Black Lists). Типичные признаки спамерского письма: например, отсутствие адреса отправителя, отсутствие или слишком много получателей, отсутствие IP-адреса в системе интернет-адресов DNS и т.п. Результатом работы фильтра Спамтест для конкретного сообщения является список категорий, к которым данное сообщение может быть отнесено с указанием степени достоверности для каждой категории.
3. Технология нечеткого сравнения изображений GSG2 сравнивает вложенные в сообщение графические файлы с содержимым базы данных, что позволяет отсечь «графический спам» - сообщения, состоящие из графики. При этом не страдают другие графические сообщения, например пересылка фотографий или копий документов. Нечеткое сравнение дает возможность фильтровать изменяющиеся картинки, популярные у спамеров. Технология GSG2 анализирует все бинарные вложения, отсеивая и часть почтовых вирусов. Спамтест обнаруживает и подавляет типичные способы обхода контентных фильтров - случайные последовательности и тексты в сообщении, смешение английских и русских букв в слове, невидимый текст и т.д.  Для больших потоков почты (миллионы сообщений в день) поддержано автоматическое детектирование массовых рассылок, что позволяет обнаружить факт массовой рассылки до попадания образцов спама в лингвистическую лабораторию [http://www.spamtest.ru/products.html?chapter=9149].

 

Спаморез

Спаморез использует множество техник определения спама. Каждое сообщение проверяется несколькими сотнями способов для выявления нескольких сотен тысяч признаков спама. В результате анализа сообщению присваивается определённый рейтинг (спам рейтинг). Чем он выше - тем больше вероятность того, что сообщение является спамом. При достижении пороговых значений сообщение либо помечается как спам, либо доставляется в карантин.

Рассматриваемая система подсчитывает контрольную сумму каждого проходящего через него сообщения и ведёт базу данных контрольных сумм. Спаморез обменивается информацией с серверами службы Razor и DCC для определения массовости сообщения. Таким образом, отслеживается общее количество появлений одинаковых сообщений в сети Интернет. Если сообщение с такой же контрольной суммой уже было зафиксировано несколько тысяч раз на разных серверах сети Интернет, то его спам-рейтинг повышается соответствующим образом.

Подделка адреса отправителя является общей спамерской практикой. Спаморез использует несколько методов для проверки отправителя:

• Проверка правильности протокола. Например, проверка правильности отправителя в SMTP-диалоге или проверка соответствия RFC 821
• Проверка адреса сервера отправителя в DNSBL
• Технология SPF (Sender Policy Framework)
• Ключевые слова

Спам-фильтр ведёт базу данных ключевых слов, на основе которой  добавляются либо понижаются штрафные баллы, влияющие на принятие системой решения о принадлежности письма к спаму. В качестве примера можно привести – «Центр американского английского» характерные для рекламных рассылок.

Механизм фильтрации основан на статистическом методе Байеса классификации  документов по категориям. Спаморез определяет частоту вхождения слов и фраз в каждом почтовом сообщении и  ведёт базу данных частотных словарей, на основе которых определяет вероятность принадлежности сообщения к спаму. После обработки каждого электронного почтового сообщения Спаморез обновляет частотные словари. За счёт этого выполняется динамическая подстройка Спамореза к постоянно изменяющемуся потоку спам сообщений.

Эксперты осуществляют непрерывный  мониторинг потока писем для выявления и блокировки только, что появившихся, ещё неизвестных, спам сообщений.

Каждое спам сообщение имеет  какую-то определённую цель-действие от получателя спам. Например, это может быть звонок по телефону, посещение WWW-сервера, отсылка почтового сообщения и т.п. Спаморез выяполняет анализ сообщения для выявления подобных признаков.

Последовательность проверок соответствия email-сообщения стандартам Интернет RFC. Подавляющее большинство современных программ для работы с электронной почтой соответствует указанным стандартам. Поэтому анализ заголовков RFC «нормальных» электронных писем показывает полное соответствие. В то же время программы для рассылки спама, компьютеры-зомби зачастую рассылают спам не соответстующий стандартам RFC. Иногда такие «отклонения» от стандартов приводят к тому, что для получателей почты сообщения выглядят как «битые», но в большинстве случаев «отклонения» визуально не видны. Анализ заголовков RFC - очень мощный механизм, отсекающий значительную часть спама.

Спаморез ведёт базу данных по «истории»  адресов отправителей и получателей  почтовых сообщений. Большое количество нормальных сообщений от одного и  того же отправителя к получателю почты снижает спам рейтинг почтового сообщения.

Система использует списки для принудительного  назначения спам-рейтинга почтовым сообщениям. Если отправитель сообщения указан в «белом» списке к спам-рейтингу сообщения добавляется отрицательное  значение, уменьшающее штрафные баллы. «Чёрные» списки наоборот добавляют к спам-рейтингу дополнительные штрафные баллы, что существенно увеличивает вероятность принятия решения, что данное сообщение - спам.

Для уклонения от систем фильтрации спам, спамеры используют механизм «помех», представляющий собой специально сформированный текст, напоминающий обычное письмо и не имеющий никакого отношения к рекламному сообщению, содержащемуся в спаме. Этот текст предназначен для обмана системы фильтрации, для создания видимости, что сообщение - нормальная почтовая переписка. Фильтр выполняет серию проверок, направленную на выявление «помех» и присвоение сообщениям с «помехами» дополнительных штрафных баллов, повышающий вероятность принятия решения о том, что данное письмо – спам [http://www.spamorez.ru/filtering.html].

Анализ работы рассматриваемых  систем показывает, что по уровню эффективности  и набору используемых методов такие  комплексы примерно одинаковы, однако по методике классификации они разнятся. В свою очередь, эта разница, на наш взгляд, во многом влияет на оперативность реагирования фильтров на новые виды спам-писем, на зависимость конечных пользователей от периодических обновлений системы, на стоимость как самой системы, так и на стоимость её обслуживания. Разница в архитектурах, описанных выше систем, играет немаловажную роль в выборе пользователем той или иной системы, так как на наш взгляд архитектура системы неразрывно связана с техническими возможностями пользователя.