TKK | Tietoverkkolaboratorio | Opetus

Tekijät:
Samil Hairetdin
Jyri Kytömäki
Jani Patokallio

Suodatus

Koska kattavaa lainsäädännöllistä ratkaisua ei kuitenkaan ole lähitulevaisuudessa tiedossa, palveluntarjoajat ovat joutuneet rajoittamaan jo lähetetyn spämmin haittavaikutuksia käyttämällä teknisiä apukeinoja, käytännössä siis suodatusta (filtteröintiä). Suodatusmekanismeja on monia, mutta yksikään niistä ei tarjoa täyttä suojaa spämmiä vastaan.

Sähköpostin suodatus

Viestin analysointi

Yleisin, täällä TKK:llakin sovellettu tapa suodattaa pahimmat roskat pois on hylätä viestit lähettäjän osoitteen perusteella. Monen domainin, esim. spämmäyspalveluja tarjoavien yritysten omat domainit, tiedetään lähettävän paljon roskapostia mutta hyvin vähän jos ollenkaan 'oikeata' postia: tällöin postijärjestelmä voi yksinkertaisesti kieltäytyä vastaanottamasta kyseisestä domainista lähetettyä postia. Valitettavasti järjestelmän toimivuus on hyvin rajoitettu, sillä uuden domainin hankinta on varsin halpaa, joten domain-listaa täytyy päivittää jatkuvasti ja ensimmäinen spämmi uudesta domainista pääsee silti läpi. Spämmääjät ovat myös yhä enenevissä määrin siirtyneet käyttämään kertakäyttöisiä, laittomasti murrettuja tunnuksia 'viattomissa' yrityksissä ja kouluissa, joiden suodatus osoitteen perusteella on tietenkin mahdotonta.

Varianttina tästä on yksinkertainen suodatusmenetelmä, jossa etsitään vastaanottajan osoitetta sähköpostista. Jos sitä ei löydy, viesti on lähetetty ns. Bcc-vastaanottajalistalla (blind carbon copy), joten se on todennäköisesti spämmi. Jotkut postituslistat kuitenkin käyttävät Bcc-listoja, jolloin ne näyttävät suodattimen mielestä spämmiltä, ja toisaalta jotkut spämmit lähetetään henkilökohtaisten osoitteiden kanssa, jolloin ne eivät näytä spämmiltä. Oma postinlukuohjelmani lajittelee Bcc-viestit omaan laatikkoonsa, jonne tulee lähes yksinomaan spämmiä, mutta josta voi kuitenkin onkia ulos satunnaiset eksyneet postit.

Toinen, vielä monimutkaisempi tapa rajoittaa spämmiä on suodattaa viestin sisällön mukaan, etsien spämmille ominaisia tekstinpätkiä kuten "MAKE MONEY FAST" tai "$$$". Tämä lähestymistapa on kuitenkin hyvin riskialtis, sillä näitä tekstinpätkiä voi löytyä yhtä lailla muustakin kuin spämmistä.

Liikenteen analysointi

Itse viestien tutkimisen sijasta voi myös yrittää tutkia viestien liikennettä. Jos reitin varrella olevan koneen läpi alkaa yhtäkkiä virrata tuhansia tai jopa miljoonia täysin identtisiä viestejä, kyseessä voi hyvinkin olla spämmi. Sähköpostin kannalta ongelmallista on kuitenkin se, että täysin 'lailliset' postituslistat saattavat toimivat aivan samalla tavalla. Tälläkin alalla on kuitenkin tapahtunut kehitystä, maailman suosituimmassa postituslistajärjestelmässä LISTSERV:ssä on nykyään liikenneanalyysiin perustuva verkotettu spämmisuodatin, jolla ehkäistään spämmin pääsyä postituslistoille.

Nyyssien suodatus

Cancel-viestit

Nyyssispämmin suodatus eroaa monella tavalla sähköpostispämmistä. Tärkein ero on se, että sähköpostissa kerran lähetettyä spämmiä ei voi peruuttaa, kun taas nyysseissä voi lähettää muita viestejä peruuttavia cancel-viestejä. (Cancelien noudattaminen on kuitenkin vapaaehtoista.) Kun spämmi on kerran havaittu, se voidaan poistaa useimpien käyttäjien näkyvistä lähettämällä pino cancel-viestejä, jotka leviävät samaan tyyliin kuin varsinaiset uutisartikkelit.

Ongelmaksi muodostuukin siis spämmin havaitseminen. Viestin 'spämmiasteen' määrittämiseksi on kehitetty kaava nimeltä Breidbart Index (BI), joka laskee melko monimutkaisen kaavan avulla miten moneen ryhmään on laitettu identtisiä viestejä sekä millä tavalla ja missä ajassa ne on lähetetty (monta erillistä viestiä tai yksi viesti moneen ryhmään). Jos BI ylittää 20, viesti lasketaan spämmiksi ja ns. cancelbot (cancelointi-robotti) canceloi viestin automaattisesti. Valitettavasti spämmerit tekevät myös parhaansa ujuttaakseen viestinsä suodattimen läpi, mm. lisäämällä viesteihin satunnaisgeneroituja pätkiä tai canceloimalla cancel-viestejä!

NoCEM-viestit

Canceleillä on sekin ongelma, että päätös kelpuuttaa ne täytyy tehdä järjestelmä- eikä käyttäjätasolla. Canceloitu viesti myös poistuu järjestelmästä täysin eikä siten etene muihin nyyssipalvelimiin. Cancelin tilalle onkin kehitetty NoCeM (lausutaan "No See 'Em"), jonka tarkoitus on luoda vapaaehtoinen filtteri. Kuka tahansa voi lähettää NoCeM-viestin, jonka sisältö koostuu listasta artikkeleita, jotka pitäisi (lähettäjän mielestä) poistaa. NoCeM:ia tukeva lukija pystyy NoCeM-viestien avulla suodattamaan epätoivotut viestit pois näkyvistä ilman, että ne 'oikeasti' poistetaan. Useimmat cancelbotit lähettävät nykyään myös NoCeM-viestejä. Valitettavasti tuki NoCeM:lle on melko heikko eikä se ole virallinen standardi, sekään ei siis kelvanne ratkaisuksi lähitulevaisuudessa.

Moderoidut ryhmät

Kolmas ratkaisu on yksittäisen ryhmän muuttaminen moderoiduksi (moderated), jolloin ryhmään ei voi kirjoittaa mitään ilman moderaattorien hyväksyntää. Yleispäteväksi ratkaisuksi tästäkään ei kuitenkaan ole, sillä ryhmän moderointi käsin on työlästä puuhaa ja robottipohjaisten moderointimenetelmien toimivuus on edelleen kyseenalainen. On vielä sekin tekninen ongelma, että moderaattorin hyväksyntä on melko helppo väärentää niin, että spämmi näyttää nyyssipalvelinsoftan mielestä lailliselta. Tähänkin on olemassa tekninen ratkaisu, kryptografinen PGP-autentikointi, mutta sekin vaatii lisäjärjestelyjä käyttäjän puolelta.

Tulevaisuuden ratkaisut

Arvioidaan, että tällä hetkellä yli 50% nyyssiliikenteestä koostuu spämmeistä ja niiden cancel-viesteistä. Jo nyt nyyssipalvelimen aiheuttama kuorma on monelle järjestelmälle kestämätön ja tilanne tulee vain pahenemaan nyyssien käytön ja liikenteen kasvaessa. Jos edellämainituilla ratkaisuilla olisi laajempi tuki käyttäjien keskuudessa, spämmiongelma rajoittuisi merkittävästi, mutta tämä vaatisi merkittäviä muutoksia NNTP-protokollaan ja lähes kaikkiin uutisia käsitteleviin ohjelmiin.

Vaihtoehtoinen ratkaisu olisi kuopata nykyinen nyyssijärjestelmä kokonaan ja rakentaa tilalle spämmiltä suojattu korvike. Yksi ehdotus kulkee nimellä Usenet II: Usenet II:n net.*-hierarkiaan pääsee mukaan vain muiden hyväksynnällä, joten spämmääjät eivät voi väärinkäyttää systeemiä yhtä helposti, ja ärhäkkäät cancelbotit poistavat välittömästi kaikki tarkkaan (ja tiukkaan) säädetyt rajat ylittävät viestit. Vielä radikaalimpi ratkaisu olisi uuteen protokollaan perustuvan ratkaisun kehittäminen, mutta vaikka pienimuotoisia tiettyyn aiheeseen keskittyviä foorumeita on luotu sinne tänne (esim. CNN ja Slashdot), mitään yleispätevää korviketta ei ole näkyvissä.

Yhteenveto

Spämmin ennaltaehkäisyn tulevaisuuden toivo on yksiselitteinen ja kattava spämmin lähetyksen ja spämmäyspalvelujen ostamisen kieltävä laki kaikissa Internetiin kuuluvissa maissa. Suodatuksella voi vähentää spämmin määrää, mutta se ei ratkaise itse ongelmaa.

Edellinen Aloitussivu Seuraava

Tietoverkkolaboratorio on nyt osa Tietoliikenne- ja tietoverkkotekniikan laitosta. Tällä sivulla oleva tieto voi olla vanhentunutta.

Kurssien ajantasainen tieto on MyCourses-palvelussa.

Tämä sivu on tehty oppilaiden harjoitustyönä. Tietoverkkolaboratorio ei vastaa sivun oikeellisuudesta, ajantasaisuudesta tai ylläpidosta. Vakavissa tapauksissa yhteyshenkilöinä toimivat ja Webmaster.
Sivua on viimeksi päivitetty 12.11.1999 11:26.
URI: http://www.netlab.tkk.fi/opetus/s38118/s99/htyo/7/suodatus.shtml
[ TKK > Sähkö- ja tietoliikennetekniikan osasto > Tietoverkkolaboratorio > Opetus ]