04 Lemmatizace

Lemma spolu se značkou jednoznačně popisuje jediný slovní tvar. Lemma lze tedy matematicky chápat jako zobrazení vystihující tzv. Zlaté pravidlo morfologie:

(lemma, značka) → slovní tvar

Zobrazení znamená, že dvojici (lemma, značka) se přiřadí právě jeden slovní tvar.

Obráceně však může být týž slovní tvar popsán větším počtem dvojic (lemma, značka) – v takovém případě je morfologicky homonymní.

Lemmata v pojetí NovaMorf jsou dvojího typu:

● jednoduchá: např. lemma(hustotě) = hustota, lemma(vyrobíme) = vyrobit

● vícenásobná (jako množina variantních lemmat): např. lemma(ačkoli) = lemma(ačkoliv) = {ačkoli, ačkoliv}

V § 2 pojednáváme o konceptu jednoduchého a vícenásobného lemmatu a v § 3 stručně popisujeme typickou lemmatizaci jednotlivých slovních druhů (podrobně je popsána v kapitolách věnovaných značkování jednotlivých slovních druhů).

2 Jednoduché a vícenásobné lemma

2.1 Jednoduché lemma

Dosud se ve značkování korpusů používalo výhradně lemma jednoduché, například

lemma(pocukrovaným) = pocukrovaný

což vedlo v některých případech k porušení Zlatého pravidla morfologie (např. v pražském systému). Koncept jednoduchého lemmatu však není vhodný např. při zachycení pravopisných a flektivních dublet, triplet… Proto přichází NovaMorf s konceptem variantních jednoduchých lemmat – tzv. vícenásobného lemmatu (Hlaváčová 2009, s. 7nn.)

2.2 Vícenásobné lemma

Existují slovní tvary, kterým je možné (vhodné) přiřadit více lemmat. Rozlišujeme tři typy vícenásobného lemmatu:

● vícenásobné lemma mutací¹

● vícenásobné lemma agregátu²

● vícenásobné lemma trpného příčestí³

2.2.1 Vícenásobné lemma mutací

(1) Vícenásobné lemma globální mutace

Vezměme si např. slovní tvary diskuze a diskuse. Mají se analyzovat jako dvě různá lemmata, nebo varianty lemmatu jednoho? Kterého?

Tato otázka má závažné praktické pozadí. Jestliže bude např. uživatel korpusu vyhledávat slovní tvary lemmatu diskuze, mají se zobrazovat jen slovní tvary se -z-, nebo i tvary se -s-?

S problémem se potýká i syntéza. Podle čeho se má z více vygenerovaných slovních tvarů se stejnými charakteristikami vybrat jeden? Výběr správného tvaru z více stejně označených alternativ je totiž obecně nemožný.

Ideální by bylo, kdyby lemma vždy odpovídalo slovnímu tvaru, ale kdyby se zároveň všechny varianty jednoho lemmatu sdružily, aby se daly například snadno vyhledat v korpusech.

Toho lze dosáhnout zavedením konceptu vícenásobného lemmatu.

Vícenásobným lemmatem z našeho příkladu je tedy dvouprvková množina {diskuze, diskuse}. Prvkům této množiny říkáme variantní lemmata.

Vícenásobné lemma zavádíme i pro taková variantní lemmata, která jsou nespisovná, zastaralá nebo jinak příznaková. Máme tedy např. i vícenásobné lemma {otevřít, votevřít}, {okénko, okýnko, vokýnko}, {blůza, bluza, blusa, blůsa, blúza}.

Všechny výše uvedené příklady obsahují tzv. globální mutace. Pojem globální mutace je nerozlučně spjat s pojmem vícenásobného lemmatu:

(i) Platí, že je-li tvar popsán globální mutací, je lemmatizován vícenásobným lemmatem.

(ii) Pro všechny tvary značkované vícenásobným lemmatem tohoto typu platí, že jsou zároveň popsány i globální mutací (třeba i nulovou)

Poznámka o implementaci. Při implementaci vícenásobného lemmatu mutací je z ryze praktického hlediska vhodné umožnit uživateli pracovat s vícenásobným lemmatem (např. {okénko, okýnko, vokýnko} či {komunismus, komunizmus} prostřednictvím jediného jednoduchého reprezentativního lemmatu. Ve víceslovném lemmatu tedy navíc vždy specifikujeme jeden z členů lemmatu jako reprezentující celé vícenásobné lemma – tímto reprezentantem je vždy první jednoduché lemma ve vícenásobném lemmatu. Umožňuje to následující implementační možnosti, mezi nimiž by si uživatel mohl vybírat. Mějme například vícenásobné lemma {komunismus, komunizmus}, které představuje množinu, jež je sjednocením paradigmatu lexému komunismus a lexému komunizmus. Na dotaz [lemma="komunismus"] či [lemma="komunizmus"] může uživatel obdržet tyto alternativní výsledky:

(i) [lemma="komunizmus"] = [lemma="komunismus"] → všechny tvary obou paradigmat (se "z" i se "s"); v tomto případě by tedy reprezentativní jednoduché lemma komunismus nehrálo žádnou roli, ale plně by se využil potenciál víceslovného lemmatu;

(ii) [lemma="komunismus"] → všechny tvary pouze na "s", [lemma="komunizmus"] → všechny tvary pouze na "z"; zde by se nevyužilo ani potenciálu víceslovného lemmatu, ani reprezentativnosti lemmatu komunismus;

(iii) reprezentativní [lemma="komunismus"] → všechny tvary obou paradigmat (se "z" i se "s") – zde se právě uplatní reprezentativní lemma komunismus oproti nereprezentativnímu lemmatu komunizmus: nereprezentativní [lemma="komunizmus"] → všechny tvary pouze na "z".

Není ovšem vždy zcela jasné, které z lemmat jako reprezentativní zvolit, ale obdržet v nějakém frekvenčním seznamu vícepoložkový seznam lemmat místo lemmatu jednoduchého není uživatelsky praktické. Reprezentantem může být lemma s nulovou globální mutací; bude-li takových více, pak případně lemma frekventovanější. Vhodné reprezentanty navrhujeme u popisu jednotlivých slovních druhů.

Návrh vhodného reprezentanta není jen záležitostí té které implementace návrhu NovaMorf. Jde totiž o to, aby pražští a brněnští (a případně další) tvůrci korpusů užívajících značkování NovaMorf nerozhodovali nezávisle na sobě, kterého reprezentanta zvolit. Mohl by tak vzniknout nežádoucí rozdíl. V NovaMorf tedy navrhujeme takového reprezentanta, který by měl být vždy týž ve všech implementacích (pražské, brněnské, případné další...).

V souvislosti s variantami (ii) a (iii) výše je, jak se ukazuje, pro implementaci vícenásobného lemmatu mutací vhodné pracovat mimo reprezentativní lemma ještě s pojmem paradigmatického reprezentativního lemmatu / paradigmatického lemmatu (ne nutně jednoduchého). Toto lemma reprezentuje část tvarů zahrnutých pod vícenásobné lemma a tvořících jedno paradigma: takovým paradigmatem je například množina tvarů substantivního lexému komunismus psaných s -s – zde je jednoduché paradigmatické lemma komunismus; jiným pak množina tvarů substantivníko lexému komunizmus psaných s -z – zde je jednoduché paradigmatické lemma komunizmus. Složitější je lemmatizace sloves. Například lemmatizace

slovesného tvaru omyl, kde:

lemma(omyl) = {omýt, omejt, vomýt, vomejt}

reprezentativní lemma: omýt

paradigmatické lemma: {omýt, omejt} – reprezentuje subparadigma tvořené tvary lexému omýt a lexému omejt

slovesného tvaru vomyl, kde:

lemma(vomyl) = {omýt, omejt, vomýt, vomejt}

reprezentativní lemma: omýt

paradigmatické lemma: {vomýt, vomejt} – reprezentuje subparadigma tvořené tvary lexému vomýt a lexému vomejt

Uživateli se tak umožní vyhledávat třeba jen spisovné, nebo jen obecněčeské tvary.

Jiným případem jsou tvary slovesa myslet/myslit.

Tvary prézentní (myslím, myslíš...) a tvary imperativní (mysli, mysleme, myslete) patří do paradigmatu lexému myslet myslit;

infinitiv myslet a tvary l-ových příčestí (myslel, myslela...) patří do paradigmatu lexému myslet;

infinitiv myslit a tvary l-ových příčestí (myslil, myslila...) patří do paradigmatu lexému myslit.

Uveďme nyní příklady lemmatizace uvedených typů tvarů (myslím, myslet, myslit, myslela, myslila):

(a) lemma(myslím) = {myslet, myslit}