http://sange.fi/~atehwa/cgi-bin/piki.cgi/ Recent changes in automaattinen luokittelu http://sange.fi/~atehwa/cgi-bin/piki.cgi/automaattinen%20luokittelu http://sange.fi/~atehwa/cgi-bin/piki.cgi/#1119876116 <p><ins>(tarkoituksena luokitella tekstejä siten, ettei luokittelualgoritmia tarvitse opettaa eikä sille tarvitse kertoa, mihin luokkiin luokitellaan)</ins> <p><ins>Lupaavilta vaikuttavat autoclass (http://ic.arc.nasa.gov/ic/projects/bayes-group/autoclass/) ja SOM_PAK (http://www.cis.hut.fi/research/som-research/nnrc-programs.shtml). Ongelmaksi muodostuneekin pikemmin, miten sanafrekvenssit (joihin ajattelin luokittelun perustaa) muutetaan järkeväksi joukoksi piirteitä. Itse asiassa SOM (tai jokin vastaava iteratiivinen tekniikka) saattaa vastata nimenomaan tähän jälkemmäiseen, autoclass sitten klusterien nimeämisongelmaan. Mutta selvästi SOM:nkin päälle on onnistuttu kyhäämään jotain tällaista, koska on olemassa WEBSOM (http://websom.hut.fi/websom/).</ins> <p><ins>Ååh. Vaikuttaa siltä, että WEBSOM-projektissa on diskreetistä symbolisesta datasta (sanoista) kehitetty piirrevektoreita määrittämällä jokaiselle sanalle satunnainen (n-ulotteinen) yksikkövektori. He ovat tutkineet, kuinka ortogonaalisia nämä yksikkövektorit ovat tutkimalla niiden pistetulojen distribuutiota eri ulotteisuuksilla. Vaikuttaa hyvältä: 50-ulotteisen avaruuden pitäisi riittää verrattain suuriinkin sähköpostimääriin. Periaatteessa tämän metodin voisi yhdistää suoraan autoclass-tyyppiseen luokitteluun.</ins> <p><ins>Outoa kyllä, WEBSOM:ssa käytetään (jos ymmärsin oikein) sanojen luokitteluun niiden oman yksikkövektorin sijaan niiden kontekstin summavektoria (jos ymmärsin oikein). On toki selvää, että sanan konteksti kertoo sen luokan jossain mielessä. Muodostin kuitenkin pienehkön koeaineiston, josta aakkostin ja käänteisaakkostin tekstinpätkiä nähdäkseni, millaisia sanoja esiintyy samassa kontekstissa. Totesin, että kontekstuaalinen luokittelu näyttää kertovan pikemminkin sanan syntaktisesta ja funktionaalisesta luonteesta (kieli, sanaluokka, puhetyyli) kuin sen semantiikasta.</ins> <p><ins>----</ins> <p><ins>Toinen ajatus oli luoda tekstien välille "linkkejä" sen perusteella, kuinka paljon niissä on samoja sanoja, ja sitten sirotella ne avaruuteen, jossa ne saavat pyöriä jonkin aikaa siten, että linkatut tekstit vetävät toisiaan puoleensa, mutta kaikki tekstit hylkivät toisiaan. Kyseessä on siis eräänlainen jatkuva (continuous) iteroitu n-ulotteinen SOM. Näin syntyneet koordinaatit kertonevat paljon paremmin dokumenttien välisestä samankaltaisuudesta kuin sanojen satunnaisten yksikkövektoreiden frekvenssin mukaan painotetut keskiarvovektorit...</ins> <p><ins>[kategoria: projektit] [kategoria: työkalut] [kategoria: ohjelmointi]</ins> Mon, 27 Jun 2005 12:41:56 +0000