Rīks neatpazītu vārdu iegūšanai no tekstiem

Sekojot modei, laika garam un vēlmei izmēģināt ko jaunu, tai skaitā par lielu pateicību iegūto Python IDE Wing Pro 10 (Wingware), ar mākslīgā intelekta Claude 3.5 Sonnet (Anthropic) palīdzību ir tapis (nevaru teikt, ka radīju) Python skripts .docx, .odt, .pdf, .edoc, un .txt datņu apstrādei. Skripts salīdzina vārdus tekstā ar vārdiem vārdnīcā un neatrastos ieraksta teksta datnē. Palaižot skriptu bez parametriem, tas parāda lietošanas "pamācību". Veidots, lai darbotos ar datņu mapēm, ne individuālām datnēm.

Vārdnīcai, pret kuru veic pārbaudi, jāatrodas hunspell ceļā (piemēram: /usr/share/hunspell; par Windows nejautājiet, nezinu, kas tas ir un kā tas darbojas).

Ierobežojumi - nedarbojas ar šifrētām datnēm un pdf, kuri veidoti no attēliem, kā arī nav veidots citu valodu vārdu izķeršanai no it kā neatpazītajiem (piemēram - angļu valodas vārdi, protams, netiek atpazīti).

Apzināti nav iekļauta .html apstrāde un tīmekļa skrāpēšanas risinājumi, taču, ņemot vērā 21. gadsimta sniegtās iespējas, šādu risinājumu katrs var izveidot individuāli uz savu galvu un risku.

Skripts ir pieejams pie lejupielādēm.

Kaut kad sekos arī iegūtais vārdnīcas papildinājums.

Jauns laidiens (1.4.0)

Šajā versijā ir koriģēts afikss F, kurā bija ieviesusies nemanāma kļūda, kura tomēr darīja pāri citiem projektiem, kas mēģināja izmantot šo bibliotēku, saīsināts automātiskās korekcijas saraksts par ierakstu "vainu->vai nu", jo vārds "vainu" ir pareizs (nepareizība nosakāma tikai ar teikuma analīzes palīdzību). Dic fails papildināts ar virkni no oficiāliem tekstiem iegūtu jaunvārdiņu, kas stutē jaunā viļņa klimata politiku.

Lietojiet, sūtiet ziņojumus par atrastajām blusām un nepieciešamos papildinājumus:)

Jauns laidiens (1.3.0)

Šajā versijā afiksu fails papildināts ar likumu rindu, kas izceļ nepareizi lietotus salikteņus (piemēram - kautkas, diezvai utml). Liels paldies par tiem Reinim Adovičam aka Croco!

Lietojiet, sūtiet ziņojumus par atrastajām blusām un nepieciešamos papildinājumus:)

Jauns laidiens (1.2.0)

Šajā versijā būtiskas pārmaiņas salīdzinot ar 1.1.0 nav notikušas. Kā jau skaidrots dokumentācijā, versijas pieaugums par 0.1 nozīmē dažas korekcijas afiksu failā. Uz tā fona vienlaikus notikušais vārdnīcas papildinājums paliek versijas numurā nemanāms.

Lietojiet, sūtiet ziņojumus par atrastajām blusām un nepieciešamos papildinājumus:)

Jauns laidiens

Beidzot pietika apņemšanās publiskot jaunu versiju.

Šajā versijā ir nākuši klāt daži papildinājumi no Inkscape, Calibre u.c. tulkošanas un labošanas vingrinājumiem, šādi tādi labojumi, pie tam - diezgan daudz korekciju afiksos. Viss vēl nav pabeigts - palikuši daži pagaidām neatrisināti tehniski jautājumi, kam būtu jāuzlabo kompleksa kvalitāte, bet kuri neietekmē tā šībrīža izmantošanu.

Vēl laidiens ir īpašs ar to, ka ir publiskots, sēžot transgalaktiskajā ekspresī Tallina-Rīga, kā arī to, ka ir mana krustdēla dzimšanas diena.

Lietojiet un sūtiet ziņojumus par atrastajām blusām :)

Ir brīnums noticis!

Pagāja teju gads ar visu ko nodarbojoties, līdz beidzot vārdnīcas laidienu 1.0.0 var uzskatīt par pasaulei rādāmu!

Kopumā - pateicoties pārejai no MySpell uz HunSpell pakotne sarāvās gandrīz divreiz. Tiesa, ir konstatēts, ka praktiski visu iegūstot caur afiksiem, nākas restaurēt atgriezeniskās formas, kuras pirms tam bija pievienotas vienkārši teksta veidā, kas jo īpaši zīmējas I konjugācijas virzienā.

Jāsaka, ka 0.9 versijas vārdnīca vēl būs dabūjama tepat un Sourceforge, taču uzturēšana (papildināšana) vairs nenotiks – vārdnīcas papildināšanas sarežģījumi bija viens no iemesliem kārtējai afiksu bāzes modernizācijai. Kā otrs iemesls ir minama pieredze ar otru projektu (latgaliešu pareizrakstību) – HunSpell varen atvieglo dzīvi un ļaut nerakstīt tūkstošiem rindu garus afiksus.

Tad nu lietojiet un sūtiet ziņojumus par atrastajām blusām :)

Darbi turpinās

Ja nu kāds nejauši seko šeit notiekošajam, vēlējos nomierināt tos, kurus ir satraucis statistikas lapā redzamais. Proti - vārdnīcā esošo vārdu krājuma samazinājums teju par 100 000.

Tam visam pie vainas ir modernās tehnoloģijas - proti - Hunspell funkcionalitātes apgūšana un ieviešana, kas ļāva atteikties no darbības vārdu vajadzības izteiksmes formu, īpašības vārdu vispārāko pakāpju pamatformu, kā arī dažu citu specifisku formu iekļaušanas bibliotēkā. Cerams, ka šie pārveidojumi nebūs radījuši kādus jaunus zemūdens akmeņus.

Reorganizācija

Gatavojoties pēc kāda laika laist dienas gaismā versiju 1.0.0, kas būs pavisam hunspell-iska un UTF8-iska, ir atsvaidzināta afiksu bāze un tai atbilstoši - vārdnīca. Lai nemulsina vārdu skaita samazinājums - tikai 92 tūkstoši iepriekšējo 152 vietā - pie tā vainīga afiksu pārrakstīšana un uzlabošana, iedvesmojoties no ltg_LV projekta.

Vienlaikus ir veikti arī vārdu krājuma papildinājumi (paldies visiem, kas tos iesūtījuši).

Atbildot uz seniem komentāriem - vārdu izlocīt ir ļoti vienkārši - jātiek skaidrībā, kas tas tāds par vārdu un dokumentācijā jāsameklē atbilstošās atslēgas. Praktiski nekādu eksperimentu.

Moduļa 0.9.6 laidiens

Pēc ilgām pārdomām un cītīgiem pamudinājumiem no interesentu puses dienas gaismu ir ieraudzījis pēdējais 0.9 rindas laidiens. Lielu pārmaiņu tajā nav, ja neskaita nelielu vārdu krājuma papildinājumu un varbūt kādu korekciju.

Vai projekts ir "miris"?

Domāju, daudzi klusībā uzdod šo jautājumu, bet kautrējas apjautāties lidojuma vadības centrā :)

Atbilde, pārfrāzējot daudziem iespējams, pazīstamas rindas, ir:

dict.dv.lv nevaid miris;

Tik pēc smaga darba guris

Tas zem egles atpūšas.

"Kas tie ir bijuši par smagajiem darbiem?", jautāsiet?

Pa šo laiku nezināmu iemeslu dēļ ir tapis saskarnes tulkojums latviešu valodā rakstnieku darba vietai Writer's Café (Lin/Win/Mac) (nebūtiski, taču šī rīka autors Julians Smārts ir arī wxWidgets autors)- pirms kāda laika no lietotāju puses bija interese par latviešu valodas pareizrakstības pārbaudes līdzekļu izmantojamību līdzīgā produktā, kas atbalstīja aizvēsturisku aspell un pētot tēmu uzdūros šai lietotnei. Tā gluži nejauši tapa saskarnes tulkojums. Jāpiezīmē gan, ka Writer's Café nav OS un pieejams par nelielu, taisnīgu samaksu. Ja nu nejauši kādam tas jau ir, tad latviskotajai saskarnei nepieciešamos failus varēs pēc kāda brīža iegūt tepat, pie lejuplādēm. Protams, ja kāds pamana tulkojumā aplamības vai kļūdas - laipni lūgti par tām ziņot.

Otrais smagais darbs, kurš notiek joprojām, ir vektorgrafikas lietotnes Inkscape saskarnes tulkojums latviešu valodā un, jo tuvāk galam, jo celmaināks kļūst process. Cerams gan, ka līdz tam, kad iznāks stabilā 0.49 versija, tas tiks pabeigts. Pieļauju gan, ka labošanas darbs būs apjomīgs, jo tur sastopamās vārdu kombinācijas, lai arī angļu valodā uztveramas, uz latviešu valodu ir pārtulkojamas ar grūtībām.

Par pašu projektu - lēnām tiek gatavots 1.0 laidiens, kas būs revolucionārs - notiks neatgriezeniska pāreja uz UTF-8. Būs nedaudz jauni vārdiņi klāt, neliela dic un aff optimizācija, varbūt - ja sanāks paeksperimentēt - arī daži likumi autokorekcijai.

Kautrīgi pieminēšu, ka, vingrinot pirkstus, ir iztulkota arī saskarne sudoku spēles versijai Sudokuki (Java, Lin/Win).

Libreoffice un lv_LV

Saskaņā ar izstrādātāju plāniem, var gadīties, ka latviešu valodas paplašinājums tiks iekļauts v.3.5.0 Windows instalatora laidienā.

Papildu jaunums - atbilstošais LibOO latviešu valodas paplašinājums ir atrodams LibreOffice paplašinājumu vietnē.

Aspell vārdnīca

Pie lejupielādēm pieejama vārdnīcas versija aspell 0.60.x. Pieejamas versijas arī Win32 un Slackware-13.1. Vairāk par to - lejupiedādes sadaļā.

Jauns vārdnīcas laidiens

Klajā nācis jauns vārdnīcas laidiens - 0.9.4

Kā laidiena iemesls jāmin Mozilla uzstājība att. uz vienas rindiņas ierakstīšanu .rdf failā un šīs izmaiņas ieviešanai nepieciešamās versijas numura pieaudzēšanas. Pie viena ir izdarīta virkne korekciju, vajadzību pēc kurām konstatēja viens acīgs lietotājs (vairāk skat. changelog.txt).

Uzmanību! Šis ir kārtējais pēdējais vārdnīcas laidiens, kas ir pilnīgi savietojams ar MySpell dzini. Nākošajā laidienā (v.1.x.x) jau būs uzsākta Hunspell funkcionalitātes pārņemšana.

Uzmanību2! Šobrīd sadaļā "Vārdnīca" esošais vārdu krājums un atslēgas neatbilst laidienam un tiks salāgots pēc v.1 laidiena.!