Статьи

Главная

Протоколы

Программы

Файлы по почте

Рассылки

Факс по почте

SMS по почте

Конференции

Общие вопросы

Спам и вирусы

Анонимное письмо

Каталог серверов эл.почты

Список серверов

Сравнение серверов

Советы

Советы

Мои программы

Leleka!

Поздравь друзей с праздником

SK MassMailer

File2mail

Антиспамерский фильтр BayesIt

Данное начальное руководство описывает установку, настройку и работу с BayesIt! — антиспамерским фильтром, поставляемым в дистрибутиве почтовой программы The Bat! Данный фильтр является подключаемым модулем (плагином) к The Bat! и обеспечивает эффективную фильтрацию нежелательной корреспонденции (спама).

Основным методом работы данного фильтра является статистический метод Байеса (подробнее об этом методе можно прочитать в статье "Фильтрация спама по Байесу"). Помимо автоматической статистической фильтрации в фильтре также реализована фильтрация по чёрным и белым спискам сигнальных строк, задаваемых пользователей, а также поддерживается интеграция с встроенными в The Bat! фильтрами "выборочного скачивания". Последнее позволяет достаточно эффективно удалять нежелательную корреспонденцию прямо на сервере, не загружая её в компьютер пользователя.

Руководство состоит из следующих разделов:

1. Основные особенности модуля

Статистический метод Байеса с автообновляемым словарём обеспечивает максимально эффективную фильтрацию спама при минимальном участии с вашей стороны.

Поведение фильтра целиком зависит от вашего желания и не зависит ни от каких внешних данных или баз, кроме ваших собственных писем. В этом смысле алгоритм Байеса чем-то напоминает шифрование с "открытым ключом" - несмотря на один и тот же модуль, фильтрация у разных пользователей будет идти совершенно по-разному, с учётом индивидуальных настроек.

Метод Байеса реализует возможность полностью автоматического обучения, которое при необходимости можно корректировать "одним щелчком", при этом от вас вовсе не требуется прочитывать полученный спам - достаточно просто понять, что это спам (не секрет, что для этого в большинстве случаев достаточно просто взглянуть на письмо, не вникая в суть) и уведомить об этом фильтр.

Уникальная возможность экспорта списка для "выборочного скачивания" позволяет настроить The Bat! на автоматическую обработку нежелательной почты прямо на сервере, не загружая её в ваш компьютер.

Независимость от протокола доставки писем позволяет фильтру работать там, где другие антиспамовые решения бессильны.

"Чёрные" и "белые" списки, а также "игнор"-список позволяют легко скорректировать поведение фильтра желаемым образом, а также порадуют тех, кто не доверяет автоматизированным решениям и желает всё "потрогать" собственными руками. К тому же списки позволяют использовать не только "жёсткие" строки, но и регулярные выражения.

В программе реализован оптимизированный по скорости и эффективности алгоритм обработки писем. В отличие от аналогичных приложений, в которых метод Байеса реализован на высокоуровневых "скриптовых" языках (Lisp, Python, Perl), либо с использованием относительно медленных библиотек общего применения (PCRE) , "ядро" BayesIt написано целиком на низком уровне с учётом специфики выполняемой задачи фильтрации, в результате чего удалось добиться высокой скорости работы и низких требований к ресурсам компьютера.

Реализация собственных оригинальных расширений метода Байеса за счёт собственных исследований автора и пожеланий пользователей позволяет учитывать при работе не только непосредственное содержимое писем, но и разрообразную мета-информацию, такую как наличие вложений и их размер, время доставки, "мусор" в html-письмах и пр. Это позволяет сделать алгоритм ещё эффективнее.

Встроенный визуальный отладчик регулярных выражений, использующий "движок" регулярных выражений прямо из The Bat!, позволяет легко и быстро создавать разнообразные выражения, которые могут быть использованы как в самом фильтре - для создания правил "списочной" фильтрации, так непосредственно в The Bat!, - для создания и отладки всевозможных шаблонов.

2. Технические ограничения модуля

BayesIt работает в интеграции с The Bat! по внутреннему интерфейсу, и ничего не знает о почтовых протоколах и тонкостях доставки почты. Его задача состоит лишь в задании оценки письму, о доставке которого уже позаботился The Bat! Поэтому фильтр работает независимо от используемого почтового протокола и может работать с любым методом почтовой доставки (временная невозможность работы с письмами, полученными по протоколу IMAP, никак не связанна с работой самого модуля, а зависит от поддержки со стороны The Bat!).

В связи с ограничением текущего интерфейса (API), который обеспечивает "общение" The Bat! и BayesIt!, в фильтре невозможна модификация полученных писем (например, изменение темы или текста письма), а также фильтрация по адресной книге. Вероятно, с развитием интерфейса эти ограничения будут устранены.

В связи со спецификой работы метода Байеса, а также интерфейса с The Bat!, фильтр не может напрямую работать с "выборочным скачиванием" - поскольку письмо оценивается целиком, и получить оценку от фильтра оно может лишь уже будучи скачанным. Тем не менее, фильтр обеспечивает экспорт сигнальных строк для "выборочного скачивания", которые могут быть использованны непосредственно в самом The Bat! и могут работать даже при отключении самого модуля.

В связи с ограничениями работы антиспам-модулей в The Bat! c письмами, определёнными фильтром как "нежелательные" невозможно выполнить иных действий, кроме предопределённых в самом The Bat!, а именно: удаление письма, либо перемещение его в папку "Спам".

Папка "Спам", подобно папке "Карантин" является системной папкой The Bat! и автоматически создаётся при необходимости поместить в неё письмо, отфильтрованное антиспам-плагином. Вручную создавать эту папку нет необходимости. В главном меню The Bat! "Свойства" - "Настройка" - "Предупреждения" - "Защита от спама" можно настроить для удобства некоторые дополнительные параметры работы с этой папкой. В частности, весьма полезной кажется возможность "помечать спам как прочитанное" и "перемещать сообщения, помеченные как спам в папку для спама". Если вы также установите флажок "использовать общую папку для сбора спама", то в скором времени получите в этой папке отличную коллекцию нежелательной корреспонденции, которой при желании сможете поделиться с друзьями.

Основными методами, управляющими обучением плагина и влияющими на его поведение являются две команды в меню "Специальное" - "Пометить как спам" и "Пометить как НЕ-спам". По умолчанию эти команды вызываются либо из главного меню The Bat! (пункт "Специальное"), либо из контекстного меню, вызываемого щелчком правой кнопки мыши на любом письме. Для быстрого доступа этим командам можно назначить "горячие" сочетания клавиш через меню "Вид" - "Сочетания клавиш...", или же вызвав редактор клавиатурных сокращений, нажав Alt+F12.

3. Установка фильтра

Автоматическая установка.

Плагин поставляется в дистрибутиве почтовой программы The Bat! и может быть автоматически установлен при установке самого The Bat! При этом в самом конце операции начальной установки The Bat! спросит:

Подтвердив установку нажатием на кнопку "Да", фильтр будет установлен и вы увидите следующее информационное сообщение:

На этом установка плагина фактически завершена. При установке по умолчанию автоматически включается опция "перемещать в папку "спам" если рейтинг более... 60".

Ручная установка.

Если на начальном этапе установки The Bat! вы проигнорнорировали возможность установить антиспам-фильтр, то позднее вы можете установить его вручную. Для этого вы можете либо скачать последнюю версию плагина с сайта, либо разыскать папку BayesIt внутри папки Program FilesThe Bat!

Примечание: если вы хотите установить локализованную (руссифицированную) версию плагина, то перед ручной установкой прочтите сперва следующий раздел о руссификации интерфейса.

Запустите The Bat! и через главное меню "Свойства" зайдите в диалог настроек программы.

Там выберите в левой части окна пункт "Защита от спама" в разделе "Предупреждения" и нажмите кнопку "Добавить".

Найдите в открывшемся окне проводника файл bayesit.tbp и дважды кликните на нём мышью. В результате вы увидите следующее сообщение:

Закрыв окно с сообщением, вы увидите установленный плагин в окне The Bat!

Примечание: последнее утверждение относится к фильтру версии 0.5.3 и старше. В более ранних версиях вместо окна с сообщением об успешной автоматической настройке откроется окно настроек фильтра, в котором нужно будет настроить все параметры вручную.

После установки плагина установите следующие параметры в окне "Защита от спама":

На этом ручная установка плагина завершена.

Руссификация интерфейса плагина.

Если языком Windows по умолчанию является русский, а также если плагин был установлен автоматически или вручную из дистрибутива The Bat!, его языком интерфейса по умолчанию уже может быть русский. В этом случае данный раздел для вас неактуален.

Для руссификации прежде всего необходим файл с переводом интерфейса и сообщений. Он обычно имеет расширение .lng и помимо русского может содержать варианты перевода на другие языки.

Примечание: файл thebat.lng по структуре аналогичен файлу thebat.lng, содержащему многоязычный интерфейс для самого The bat!, однако последний содержит совершенно иные данные и не может быть использован в качестве файла перевода для BayesIt!

Если вы устанавливаете файл локализации ДО установки самого плагина, вы можете поместить его в одну из следующих четырёх папок:

Все эти папки проверяются последовательно в указанном порядке. Если файл будет найден в одной из указанных папок, то остальные уже не будут проверяться.

Скопировав файл в нужное место, вы можете установить плагин (если он ещё не установлен). При этом если вы устанавливаете плагин под Windows с русской локалью, то интерфейс плагина автоматически станет русским (конечно, при наличии русского языка в файле bayesit.lng).

Если вы устанавливаете пакет локализации на уже установленный плагин, то автоматического переключения языка не произойдёт, и это нужно сделать вручную.

Для этого зайдите в настройки плагина и нажмите кнопку "Do you speak..." Выберите в открывшемся окне файл с переводом, а затем укажите в выпадающем списке русский язык.

Нажмите в меню выбора языка кнопку "OK", после чего выйдите из меню настроек, нажав в нижней части диалога кнопку "Close", а затем заново зайдите в настройки, выбрав плагин в списке и нажав кнопку "настроить".

Вы увидите, что интерфейс программы стал русскоязычным.

Настройка и начальное обучение

Окно настроек фильтра

Собственно, окно настроек уже было затронуто в предыдущем разделе о руссификации интерфейса.

Оставшиеся кнопки окна имеют следующие функции:

Кнопка "правила" - вызывает диалог настройки правил для фильтрации по чёрным/белым спискам. Эта кнопка также дублируется в основном меню The Bat! Описание настройки фильтрации приведено в соответствующем разделе расширенного описания.

Кнопка "параметры" - вызывает окно редактирования основных параметров фильтра.

Рабочая папка фильтра - это место, где хранится фактическая статистическая информация, по которой фильтр ведёт оценку писем. По умолчанию эта папка создаётся как подпапка BayesIt в папке The Bat!, которую при установке последнего вы выбрали как папку для почты по умолчанию.

Файл журнала - это текстовый файл, в который фильтр будет записывать отчёт о своей работе по фильтрации писем, а также различные диагностические сообщения. В последних версиях фильтра журналирование по умолчанию включено. Журнал ведётся на том же языке, который установлен как язык интерфейса и даёт исчерпывающую информацию о текущей работе фильтра. Если в процессе работы у вас возникают сомнения по поводу работоспособности фильтра — посмотрите сперва этот файл.

Обратите внимание, что в пути к рабочей папке и файлу журнала допускается использование переменных окружения.

Число оценочных токенов - это число условных "слов" из письма, которые непосредственно будут участвовать в вычислении оценки писем. Рекомендованное значение - 15, и менять его, как правило, не требуется.

"Расширенная оценка" - позволяет в определённых ситуациях игнорировать жёстко заданное число оценочных токенов и брать для оценки столько токенов, сколько требуется. "Расширенная" оценка не требует дополнительных затрат ресурсов или процессорного времени, однако позволяет несколько улучшить качество распознавания спама в спорных ситуациях.

"Белый список" заголовков - позволяет указать имена некоторых технических заголовков письма, которые будут полностью игнонироваться при обработке - так, как будто письмо вообще не содержало таких заголовков. (например, почта Яндекса может добавлять к письмам, определённым службой Яндекса "Спамооборона" как спам собственный заголовок "X-Oborona-Spam-Flag", который содержит слово "Yes". Если вы хотите исключить влияние подобных заголовков на оценку фильтра, вы можете внести заголовок "x-oborona-spam-flag" в "белый список", и таким образом избавиться от влияния данного заголовка). Помимо целых заголовков вы можете добавлять названия отдельных их частей, заменяя остаток слова троеточием (например, "x-spam..." позволит игнорировать все заголовки, названия которых начинаются с x-spam, такие как "x-spam-mark" или "x-spammer").

Опция "показывать заставку" позволит BayesIt показывать окна с диагностическими сообщениями в случае использования функций программы, которые потенциально могут работать длительное время без взаимодействия с пользователем и тем самым создать впечатление о том, что программа "зависла".

Опция "Вести журнал работы" позволяет настроить сообщения, которые фильтр будет записывать в журнал работы.

На вкладке "Локальный алфавит" вы можете настроить правила для декодирования частично-транслитерированных слов - т.е. таких русских слов, у которых часть букв заменена на похожие по начертанию английские, например, "paccылku" (в этом слове реально русскими являются лишь буквы "ы" и "л" - проверьте!).

 Для работы детектора частичного транслитерирования фильтру необходимо знать, во-первых, "локальный" пользовательский алфавит (в нашем случае — русский), а также то, какие из английских букв в подобных "смешанных" словах следует заменять на русские. Детектор работает следующим образом: если в слове находится хотя бы один символ из "национального" алфавита, то всё слово считается национальным. Затем в слове ищутся английские буквы, похожие на национальные, и заменяются на них. (Обычно такие слова встречаются лишь в "нежелательной" почте, а также письмах из FIDO-конференций. Нормальным пользователям вряд ли придёт в голову заменять русские буквы на аналогичные английские).

Применение функции частичного транслитерирования позволяет значительно улучшить качество работы фильтра, а также уменьшить размер статистической базы словаря за счёт хранения всех слов в их "унифицированном" национальном виде, без смеси кодировок.

Данная технология имеет смысл только для национальной почты и бессмысленна для английского языка. Поэтому, если вся ваша почта приходит на английском языке, вы можете просто отметить в диалоге пункт "Да, вся моя почта на английском" и завершить настройку фильтра.

В противном случае нажимаем кнопку "Нет, я получаю почту на родном языке, не на английском". В случае с русским интерфейсом плагина вы увидите следующее сообщение:

Простым нажатием на кнопку "Да" в этом окне вся частичная транслитерация будет успешно настроена!

ПРИМЕЧАНИЕ: данная функция не сработает, если при отметке пункта "нет, я получаю почту на родном языке..." поле "Алфавит" не было пустым. В этом случае, если вы хотите воспользоваться настройками из файла перевода, вам следует выделить всё содержимое поля "алфавит" и удалить его, после чего выбрать опцию "вся моя почта на английском" и заново включить "нет, я получаю почту на родном языке...".

ПРИМЕЧАНИЕ: начиная с руссифицированной версии 0.5.5 все настройки локального алфавита для русского языка устанавливаются автоматически при установке плагина. Поэтому в этой версии никаких дополнительных действий пользователя для настройки этих параметров на русский язык не требуется.

Также вы можете ввести все настройки вручную. Для этого сначала необходимо задать алфавит.

Вводим в поле "алфавит" национальный алфавит, в обоих регистрах (заглавные и прописные). Здесь можно просто впечатать что-нибудь вроде "АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдежзийклмнопрстуфхцчшщъыьэюя", а можно ввести текущую локаль (для России это "Russian_Russia") и нажать кнопку "Создать ^ ". В результате получится примерно следующее:

Первые несколько символов — это буквы кириллического, но нерусского алфавита. Их нужно просто удалить.

Затем переходим к таблице транслитерации.

Здесь вводится таблица соответствия английских букв русским. В списке находится английский алфавит, а также различные вспомогательные символы, которые также могут пригодиться (например, иногда встречается подмена буквы "А" цифрой "4"). Двойной щелчок на элементе списка мышью вызывает его для редактирования. Вам нужно лишь дописать в конце соответствующую русскую букву и нажать кнопку "Добавить". Удаление элементов производится путём ввода в поле соответствующей английской буквы (без всяких дополнительных знаков) и нажатия кнопки "Добавить".

ПРИМЕЧАНИЕ: обратите внимание, что настройки "локальный алфавит" и "белый список заголовков" непосредственно влияют на статистическую базу, создаваемую фильтром, поэтому их желательно устанавливать в предпочитаемое состояние сразу же после установки плагина, пока база ещё не создана.

Дополнительные сервисные функции плагина

Обучение байесового метода

Работа байесового метода целиком основана на статистической информации, которую фильтр собирает из входящей почты. Фактическая работа плагина начинается по мере накопления этой статистики. При получении письма плагин сообщает БАТу его оценку, а также в зависимости от этой оценки автоматически выполняет действие "пометить как спам" или "пометить как не-спам". Изначально (сразу после установки) у плагина нет никаких предустановленных правил для фильтрации почты - поэтому сперва спам отфильтровываться не будет.

Обучать плагин можно двумя способами, которые, впрочем, не имеют принципиальной разницы и зависят лишь от вашего желания как можно скорее добиться максимально эффективной работы.

Первый способ - "естественное" обучение. При получении нежелательных писем вам нужно не удалять их, а вызывать для них команду из меню "Специальное" - "пометить как спам". Для удобства этой команде можно назначить "горячую клавишу", и тогда пометка спама будет настолько же проста, как обычное удаление. При этом фильтр автоматически "выучит" помеченные письма как нежелательное, а The Bat!, при соответствующих настройках, может сразу же перемещать их в специальную папку для спама. Довольно скоро (после пометки около 5-10 писем) вы заметите, что некоторые нежелательные письма начнут попадать в папку "спам" уже без вашего участия.

Надо заметить, что при таком "естественном" обучении вам нет необходимости вручную помечать ВСЕ входящие письма. Однако для тех, на которых фильтр ошибся, это делать необходимо. Связано это с дем, что фильтр сам помечает для себя все входящие письма как спам или не-спам в соответствии с собственной оценкой. Поэтому, если фильтр сработал правильно, то письма уже помечены им должным образом. Если же он ошибся и вы не исправили ошибку, то и вероятность подобных ошибок в дальнейшей работе резко возрастёт.

В работе с фильтром (а особенно на начальной стадии, когда собранная статистика сравнительно мала) рекомендуется периодически просматривать папку спама и при необходимости ОБЯЗАТЕЛЬНО помечать как не-спам те письма, которые попали туда по ошибке. К сожалению, The Bat! при этом не сможет переместить письмо обратно в папку, откуда оно попало в спам, однако фильтр должен быть обязательно уведомлен о совершённых им ошибках оценки.

Второй способ обучения - "форсированный". Если на момент установки фильтра у вас уже есть достаточное количество писем, которое вы бы могли предоставить фильтру для обучения, то вам, возможно, хотелось бы обучить фильтр сразу по этим письмам. Для этого вам достаточно просто пометить их как не-спам или спам. Заметьте, что если письма находятся в папке, в которой включён режим просмотра цепочек, то при выделении содержимого папки командой "Выделить всё" фактически выбранными окажутся лишь письма, являющиеся "началами" цепочек. Сами цепочки при этом останутся невыделенными! Поэтому перед выделением рекомендуется отключить просмотр цепочек в нужной папке.

Пометка большого количества писем может занять значительное время, при этом может создаться впечатление, что программа зависла. В этом случае, если в "параметрах" фильтра включён флажок "показывать заставку", вы увидите окошко с числом обработанных писем, которое будет меняться.

Примечание: свидетельством продолжающегося обучения является увеличение числа обработанных писем в диагностическом окне. Само число не имеет значения и может сбрасываться, а также само окошко может пропадать на некоторое время - это не является признаком каких-либо неполадок.

Обратите внимание, что в случае "принудительного" обучения вам необходимо не только пометить нежелательную почту как спам, но также пометить желательную как не-спам, иначе фильтр не сможет работать!

Следует заметить, что сбалансированность, или относительное количество обученных писем спама/не-спама на ранних стадиях обучения играет весьма существенную роль. Например, если фильтр обучет на 1000 писем спама и на 10 письмах не-спама, то это фактически означает, что он очень хорошо "знает", что такое спам, и в то же время весьма смутно "представляет", как выглядят нормальные письма. А это неизбежно приведёт к ошибкам - фильтр будет ошибочно классифицировать как спам большое количество нормальных писем. С накоплением общего количества писем относительная сбалансированность базы фильтра уже не играет такой существенной роли. Желательно, чтобы число писем в каждой категории не различалось более, чем в 5-10 раз. Вы сами увидите экспериментально, в каких пределах допустим "дисбаланс" базы.

Обычная ситуация с "форсированным" обучением - когда письма спама лежат в одной общей папке (или в отдельной папке в каждом ящике), а письма не-спама отсортированы по различным критериям в десятки, а то и сотни различных папок. В этом случае ручное выделение всех писем в каждой папке может показаться утомительным и неудобным. Однако, к счастью, из этой ситуации существует весьма изящный выход.

Допустим, вам нужно пометить как не-спам все письма в ваших двадцати папках, раскиданных по разным ящикам. Для этого в главном окне The Bat! просто нажимаем "Ctrl+F" или выбираем на панели инструментов команду "найти письма". Строку поиска оставляем пустой, область поиска также не имеет значения. Главное, что нужно установить - это папки, в которых должен производиться поиск. Здесь нужно установить галочки на тех папках, где у вас находятся письма искомых категорий.

Пометив все папки, нажимаем кнопку "найти". Поиск по папкам без критериев - чрезвычайно быстрая операция, и даже если у вас несколько сотен тысяч писем, вы получите полный результат поиска буквально через несколько секунд. Далее, просто выделяем все письма прямо в окне результата и там же помечаем их так, как необходимо.

Несбалансированность базы в будущих версиях будет корректироваться автоматически.

При желании вы можете воспользоваться уже готовым частотным словарём спама (создан 20 сентября 2003г, содержит токены от 3036 писем) (Скачать — 859кб [ВНИМАНИЕ! Подходит только к версиям начиная с 0.4fm.]).

Несколько слов об установке словаря: его необходимо распаковать в рабочую папку программы, перезаписав в рабочей папке файлы spamdict.bye, spamdict.idx и spamdict.lst. Я постарался включить в этот словарь то, что по моему мнению бесспорно является спамом — исключив всевозможные спорные письма. Однако даже в этом случае имейте в виду, что поскольку спам — понятие относительное, данный словарь на ваших письмах может давать ошибки. В частности — обратите внимание — если вы будете писать какие-то письма мне лично и я на них отвечу — то мои ответы в случае использования этого словаря, скорее всего, попадут у вас в "спам". Причина исключительно проста: поскольку словарь я создавал на своих собственных письмах, в нём фигурируют некоторые специфические данные (мой e-mail, ник и пр.), в то время как в вашей "хорошей" половине этих данных, скорее всего, нет. Лучший словарь спама — это словарь, созданный самостоятельно.

Диагностическая информация о плагине

Выбрав плагин в списке установленных плагинов The Bat! и нажав Ctrl+Enter вы можете вывести на экран окно информации о плагине.

Данное окно содержит диагностическую информацию о текущем состоянии плагина, а также графически отображает статистическую информацию. В частности, в этом окне вы можете узнать о том, сколько спама и не-спама вы получили за последний день/неделю/месяц, сколько писем плагин ошибочно пропустил (и вы их исправили), а также узнать общую долю спама в вашем почтовом трафике (и на основании этого даже оценить ущерб, причинённый спамерами).

Помимо статистической информации в этом окне вы также можете узнать список макросов, реализуемых плагином (то, что было перечислено выше), а также найти контактную информацию о том, как связаться с автором и где можно найти обновления плагина.

Версии и обновления

Дополнительные ресурсы

Данный документ является лишь начальным руководством для новичков. Некоторые более сложные разделы, касающиеся настройки плагина, были вынесены в отдельный документ - "Антиспамерский фильтр BayesIt!: расширенные настройки".

Также существует краткий список часто задаваемых вопросов с ответами (ЧаВО).

<<Предыдущая страница

Следующая страница>>

  :: Комментарии ::

Если вам понравился мой сайт, я буду вам признателен, если вы разместите мою кнопочку на своем сайте.

  <a href="/" target="_blank"><img alt="Общение в Интернете! Всё самое интересное!" border="0" src="/banner.gif" width="88" height="31"></a>