http://sange.fi/~atehwa/cgi-bin/piki.cgi/ Recent changes in aineistopohjainen morfologinen tokenisoija http://sange.fi/~atehwa/cgi-bin/piki.cgi/aineistopohjainen%20morfologinen%20tokenisoija http://sange.fi/~atehwa/cgi-bin/piki.cgi/#1119876100 <p><ins>Tämä ohjelma perustuu ajatukseen, että tulevien kirjaimien (foneemien, ...) ennustaminen antaa olennaista tietoa kielen morfologisesta rakenteesta.</ins> <p><ins>Toteutus perustuu puhtaasti yhteen tietorakenteeseen, prefiksipuuhun. Käytännössä kyseinen tietorakenne on kohtuullisen tilatehokas tapa pitää muistissa jonkin aineistotekstin jokainen alamerkkijono (käytännössä alamerkkijonojen pituus rajoitetaan esim. 6 merkkiin tilan säästämiseksi) sekä se, kuinka monta kertaa kyseinen merkkijono esiintyy tekstissä.</ins> <p><ins>Prefiksipuun perusteella voi laskea tehokkaasti (a) todennäköisyyksiä eri seuraaville merkeille aiempien merkkien (ts. merkkihistorian) perusteella; (b) todennäköisyyshajoamia seuraavan merkin eri vaihtoehtojen välillä.</ins> <p><ins>Varsinainen algoritmi koostuu näiden kahden arvon vaihtelun seuraamisesta: tod.näk.hajoaman sekä sen, kuinka todennäköisenä toteutunutta merkkiä pidettiin. Kun kumpi tahansa näistä arvoista putoaa puoleen edellisen merkin vastaavasta arvosta, katsotaan siinä kohtaa olevan morfeemin raja.</ins> <p><ins>Lähdekoodi on nähtävissä täällä: http://sange.fi/~atehwa/ptmorph/prefixtree.ss</ins> <p><ins>[kategoria: ohjelmointi] [kategoria: kieli]</ins> Mon, 27 Jun 2005 12:41:40 +0000