Autor Thema: Spamfilterung leicht gemacht  (Gelesen 18675 mal)

Offline matze

  • ehemalige aktive Fachschaftler
  • Neuling
  • *
  • Beiträge: 11
Spamfilterung leicht gemacht
« am: 10.02.2004, 15:06:13 Nachmittag »
Servus Spamgeplagte,

heute eine kurze Einweisung in die Konfiguration des Spamfilters auf dem Stud. Hilft zuverlässig und ist ganz leicht einzurichten

1. Einloggen über SSH
2. Anlegen eines Verzeichnisses ".spamassassin"


$ mkdir .spamassassin


3. Anlegen einer Datei "user_prefs" in diesem Verzeichnis mit folgendem Inhalt:


required_hits 6.5


Mit 6.5 wird festgelegt, wie "spammig" eine Mail sein darf, bis sie erkannt wird.

4. Anlegen einer Datei ".procmailrc" mit folgendem Inhalt:


:0fw
| spamassassin


Die 0's sind übrigens Nullen (thnx Sergio :).

Das Spamfilter markiert alle als Spam erkannten Mails mit einem besonderen Mailheader:

X-Spam-Status: Yes

Wenn man POP3 benutzt, kann man diesen Header im eigenen Mailclient zum Filtern der Mails benutzen.

Wer IMAP benutzt, kann folgende weitere Regel in seine ".procmailrc" einbauen:


:0:
* X-Spam-Status: Yes
spam-mail


Damit landet als Spam markierte Mail direkt im Order "spam-mail".

Bayes-Filterung

Ich persönlich benutze intensiv den im Spam-Assassin eingebauten Bayes-Klassifizierer. Dieser errechnet aus dem Inhalt jeder Mail eine Spam-Wahrscheinlichkeit. Der Filter muss trainiert werden, d.h. man muss ein bisschen Zeit reinstecken.

Ich benutze IMAP und die oben genannte Procmail-Regel, alle Spam-Mail wird also im Ordner "spam-mail" gespeichert. Am Anfang ist der Filter noch recht dumm, also landet noch relativ viel Spam in der normalen Inbox. Diese Mail kopiert man erstmal von Hand nach "spam-mail". Keine Angst, man muss das nicht lange tun. Sobald die normale Inbox Spam-Frei ist, loggt man sich per SSH ein und trainiert das Filter:


$ sa-learn --ham --mbox mbox
$ sa-learn --spam --mbox spam-mail


Dadurch teilt man dem Bayes-Klassifizierer mit, wie gute und schlechte Mails auszusehen haben. Nach ein paar Tagen ist die Bewertung ausreichend trainiert, sodass es nahezu keine "Fehlurteile" gibt. Wichtig ist, dass man das Filter nachtrainiert, wenn es Fehler macht. Verirrt sich also ab und zu mal eine Spam-Mail in die normale Inbox, muss man diese von Hand umkopieren und mit sa-learn nachhelfen.

Ich habe zusätzlich noch folgende Zeilen in meinen "user_prefs":


score BAYES_99 5.0
score BAYES_80 4.5
score BAYES_70 4.0


Damit wird die Gewichtung der Bayes-Bewertung heraufgesetzt. Bei meinem Spamlevel von 6.5 reicht also eine Bayes-Wahrscheinlichkeit von 99% nicht ganz aus, um die Mail als Spam zu klassifizieren. Kommen jedoch noch weitere Punkte aus den übrigen SpamAssassin-Tests hinzu, landet die Mail im Müll. Hier kann man jedoch seine persönlichen Präferenzen noch eingehen lassen.

Seit kurzem gibt es häufig Spam-Mail, die vortäuscht, mit Mozilla verschickt worden zu sein. Das Rating für den Mozilla-Test im SpamAssassin ist ein bisschen zu freundlich. Der Test senkt das Spam-Rating um 6.3, wenn erkannt wird, dass die Mail mit Mozilla geschickt wurde. Leider ist die Erkennung sehr unsicher, sie ist leicht zu faken. Ich ändere deswegen das Rating des Tests auf -1.0


score USER_AGENT_MOZILLA_UA -1.0


Viel Spass.

Offline damir

  • ehemalige aktive Fachschaftler
  • Neuling
  • *
  • Beiträge: 21
Update Bayes Filter
« Antwort #1 am: 09.04.2004, 12:46:49 Nachmittag »
Da das neue Format nicht mehr mbox ist, lässt man die option --mobx natürlich weg!


Ich wechsle einfach in mein Maildir home/user/Maildir und führe dort
sa-learn --ham cur/ aus. "cur" steht wohl für "current" womit das aktuelle Mailverzeichnis gemeint ist.

Für die SPAM-Mails: wechseln in das Verzeichnis ".spam-mail"
und dort sa-learn --spam cur/ ausführen.

Offline Joe

  • ehemalige aktive Fachschaftler
  • wow
  • *****
  • Beiträge: 109
    • http://www.web-dreamer.de
Spamfilterung leicht gemacht
« Antwort #2 am: 13.04.2004, 11:33:43 Vormittag »
óla,

stimmt dann die postfix datei oben noch?
muss das Verzeichniss dann nich auch irgendwie anders lauten?

Offline damir

  • ehemalige aktive Fachschaftler
  • Neuling
  • *
  • Beiträge: 21
Spamfilterung leicht gemacht
« Antwort #3 am: 13.04.2004, 16:06:16 Nachmittag »
Joe, welche "Postfix" -Datei??? Bitte spezifizieren.

Offline Joe

  • ehemalige aktive Fachschaftler
  • wow
  • *****
  • Beiträge: 109
    • http://www.web-dreamer.de
Spamfilterung leicht gemacht
« Antwort #4 am: 13.04.2004, 16:48:04 Nachmittag »
ach ich meinte user_prefs....

Offline O.H1

  • ehemalige aktive Fachschaftler
  • gibts jemanden der mehr sagt?
  • *****
  • Beiträge: 143
    • http://www.fbihome.de/leute/fachschaft/fsr_fbr/leute/fachschaft/aktive/oliverh/
Spamfilterung leicht gemacht
« Antwort #5 am: 13.04.2004, 23:58:05 Nachmittag »
Zitat von: ""Joe"

stimmt dann die postfix datei oben noch?
muss das Verzeichniss dann nich auch irgendwie anders lauten?

Zitat von: "Joe"
ach ich meinte user_prefs....

Dateinamen und Verzeichnisse für Spamassasin beliben gleich. Am spamassasin selbst hat sich nix geändert. Außer, dass er in aktuellen Versionen etwas konservativer im Punkteverteilen ist - ich hab hier derzeit einen Wert von 3.0 für required_hits und fahre damit eigentlich ganz gut, weil wesentlich weniger "sinnlose" Strafpunkte verteilt werden...