Bayesiaanse spamfilters berekenen de waarschijnlijkheid dat een bericht spam is, gebaseerd op de inhoud ervan. In tegenstelling tot eenvoudige op inhoud gebaseerde filters, leert Bayesiaanse spamfiltering van spam en van goede e-mail, wat resulteert in een zeer robuuste, aanpasbare en efficiënte antispamaanpak die, het beste van alles is, nauwelijks valse positieven oplevert.
Hoe herkent u ongewenste e-mail?
Denk na over hoe u spam detecteert. Een snelle blik is vaak genoeg. U weet hoe spam eruit ziet en u weet hoe goed mail eruit ziet.
De kans dat spam op goede mail lijkt, is rond … nul.
Het scoren van op inhoud gebaseerde filters worden niet aangepast
Zou het niet geweldig zijn als automatische spamfilters ook zo werken?
Het scoren van op inhoud gebaseerde spamfilters probeert precies dat. Ze zoeken naar woorden en andere kenmerken die typisch zijn voor spam. Aan elk kenmerkend element wordt een score toegekend en een spamscore voor het hele bericht wordt berekend op basis van de individuele scores. Sommige scorefilters zoeken ook naar kenmerken van legitieme e-mail, waardoor de uiteindelijke score van een bericht wordt verlaagd.
De benadering met scorefilters werkt, maar het heeft ook verschillende nadelen:
- De lijst met kenmerken is opgebouwd uit de spam (en de goede e-mail) die beschikbaar is voor de ingenieurs van het filter. Om een goed beeld te krijgen van de typische spam die iemand kan krijgen, moet de e-mail worden verzameld op honderden e-mailadressen. Dit verzwakt de efficiëntie van de filters, vooral omdat het kenmerken van goede mail zullen voor elke persoon anders zijn , maar hiermee wordt geen rekening gehouden.
- De kenmerken waarnaar moet worden gezocht, zijn min of meer in steen gezet . Als de spammers zich inspannen om zich aan te passen (en hun spam eruit laten zien als goede mail naar de filters), moeten de filterkarakteristieken handmatig worden aangepast - een nog grotere inspanning.
- De score toegekend aan elk woord is waarschijnlijk gebaseerd op een goede schatting, maar het is nog steeds willekeurig. En net als de lijst met kenmerken, past deze zich niet aan aan de veranderende wereld van spam in het algemeen, noch aan de behoeften van een individuele gebruiker.
Bayesiaanse spamfilters veranderen zichzelf, worden beter en beter
Bayesiaanse spamfilters zijn ook een soort scorende, op inhoud gebaseerde filters. Hun aanpak maakt de problemen van het eenvoudig scoren van spamfilters echter overbodig en doet dat ook radicaal. Aangezien de zwakte van scorefilters zich in de handmatig samengestelde lijst met kenmerken en hun scores bevindt, is deze lijst geëlimineerd.
In plaats daarvan bouwen Bayesiaanse spamfilters de lijst zelf. Idealiter begin je met een (groot) aantal e-mails die je hebt geclassificeerd als spam en nog een stapel goede e-mails. De filters bekijken beide en analyseren de legitieme e-mail evenals de spam om de kans te berekenen dat verschillende kenmerken in spam verschijnen en in goede e-mail.
Hoe een Bayesian Spam Filter een e-mail onderzoekt
De kenmerken van een Bayes-spamfilter kunnen zijn:
- de woorden in het lichaam van de boodschap, natuurlijk, en
- de headers (afzenders en berichtenpaden, bijvoorbeeld!), maar ook
- andere aspecten zoals HTML / CSS-code (zoals kleuren en andere opmaak), of zelfs
- woordparen, zinnen en
- meta-informatie (waar bijvoorbeeld een bepaalde zin voorkomt).
Als een woord 'Cartesiaans' bijvoorbeeld nooit in spam verschijnt, maar vaak in de legitieme e-mail die u ontvangt, is de kans dat 'Cartesiaans' aangeeft dat spam bijna nul is. "Toner" verschijnt daarentegen uitsluitend en vaak in spam. "Toner" is zeer waarschijnlijk in spam te vinden, niet veel minder dan 1 (100%).
Wanneer een nieuw bericht binnenkomt, wordt het geanalyseerd door het Bayesiaanse spamfilter en wordt de waarschijnlijkheid dat het volledige bericht spam is, berekend met behulp van de individuele kenmerken.
Stel dat een bericht zowel "Cartesiaanse" als "toner" bevat. Alleen al van deze woorden is nog niet duidelijk of we spam of legitieme mail hebben. Andere kenmerken geven (hopelijk en waarschijnlijk) een kans aan dat het filter het bericht kan classificeren als spam of als goede mail.
Bayesiaanse spamfilters kunnen automatisch leren
Nu we een classificatie hebben, kan het bericht worden gebruikt om het filter zelf verder te trainen. In dit geval wordt de kans dat "Cartesiaanse" goede berichten verstuurt verlaagt (als het bericht met zowel "Cartesiaanse" als "toner" spam is), of de waarschijnlijkheid dat "toner" spam aangeeft moet opnieuw worden bekeken.
Met behulp van deze auto-adaptieve techniek kunnen Bayesiaanse filters leren van zowel hun eigen beslissingen als die van de gebruiker (als ze handmatig een verkeerde beoordeling door de filters corrigeert). De aanpasbaarheid van Bayesiaanse filtering zorgt er ook voor dat ze het meest effectief zijn voor de individuele e-mailgebruiker. Hoewel de meeste mensen spam dezelfde kenmerken hebben, is de legitieme mail voor iedereen kenmerkend anders.
Hoe kunnen spammers de Bayesiaanse filters passeren?
De kenmerken van legitieme e-mail zijn net zo belangrijk voor het Bayesiaanse spamfilterproces als de spam. Als de filters specifiek voor elke gebruiker zijn getraind, zullen spammers het nog moeilijker hebben om rond de spamfilters van iedereen (of zelfs de meeste mensen) te werken en de filters kunnen zich aanpassen aan bijna alles wat spammers proberen.
Spammers zullen pas voorbij goedgetrainde Bayesiaanse filters komen als ze hun spamberichten er uitzien als de gewone e-mail die iedereen kan krijgen.
Spammers verzenden gewoonlijk geen gewone e-mails. Laten we aannemen dat dit komt omdat deze e-mails niet werken als ongewenste e-mail.Dus, de kans is groot dat ze het niet zullen doen wanneer gewone, saaie e-mails de enige manier zijn om het voorbij spamfilters te krijgen.
Als spammers echter overschakelen op meestal gewoon ogende e-mails, zien we opnieuw veel spam in onze inboxen en wordt e-mail net zo frustrerend als in pre-Bayesiaanse dagen (of nog erger). Het zal echter ook de markt voor de meeste soorten spam hebben geruïneerd, en zal dus niet lang duren.
Sterke indicatoren kunnen de achillespees van een Bayesiaanse spamfilter zijn
Een uitzondering kan worden waargenomen voor spammers om zich een weg baant door Bayesiaanse filters, zelfs met hun gebruikelijke inhoud. Het is in de aard van de Bayesiaanse statistiek dat één woord of kenmerk dat zeer vaak voorkomt in goede e-mail zo belangrijk kan zijn dat elke boodschap er als spam uitziet en als ham wordt beoordeeld door het filter.
Als spammers een manier vinden om vast te stellen of uw goede e-mailwoorden kloppen, door gebruik te maken van HTML-ontvangstbevestigingen om te zien welke berichten u bijvoorbeeld hebt geopend, kunnen ze een van deze in een ongewenste e-mail opnemen en u bereiken via een bron getrainde Bayesiaanse filter.
John Graham-Cumming heeft dit geprobeerd door twee Bayesiaanse filters tegen elkaar te laten werken, de "slechte" die zich aanpast aan welke berichten door het "goede" filter worden gevonden. Hij zegt dat het werkt, hoewel het proces tijdrovend en ingewikkeld is. We denken niet dat we hier veel van zullen zien gebeuren, althans niet op grote schaal, en niet afgestemd op de e-mailkenmerken van individuen. Spammers kunnen (proberen) achtereenvolgens enkele zoekwoorden voor organisaties (zoiets als "Almaden" voor sommige mensen bij IBM) uitzoeken.)
Meestal zal spam altijd (aanzienlijk) verschillen van reguliere e-mail of zal het geen spam zijn.
De hoofdzaak: Bayesiaanse filtersterkte kan zijn zwakte zijn
Bayesiaanse spamfilters zijnop inhoud gebaseerde filters dat:
- zijnspecifiek getraind om de spam en goede e-mail van de individuele e-mailgebruiker te herkennen, waardoor ze zeer effectief en moeilijk aan te passen zijn voor spammers.
- kan continu en zonder veel inspanning of handmatige analysezich aanpassen naar de nieuwste trucs van de spammers.
- houd rekening met de goede e-mail van de individuele gebruiker en heb een zeerlage snelheid van valse positieven.
- Jammer genoeg, als dit blind vertrouwen in Bayesiaanse anti-spamfilters veroorzaakt, geeft het deincidentele fout nog ernstiger. Het tegenovergestelde effect vanvalse negatieven (spam die er precies uitziet als gewone post) heeft het potentieel om gebruikers te storen en te frustreren.
