Tabiiy tilni qayta ishlash (nlp)da so‘z turkumlarini teglash masalasi

Abstract

Kompyuter lingvistikasida tabiiy tilni qayta ishlash ancha murakkab jarayon boʻlib, unda ijtimoiy tabiatga ega tilning barcha hodisalari,
umumiy va xususiy jihatlari, istisnoli holatlari, fonetik, morfologik, leksik, grammatik, semantik va hatto orfoepik xususiyatlarini e’tiborga olish
zarur hisoblanadi. Sun’iy intellekt tizimini yaratishga bel bogʻlangan ayni
damda matn birliklarini raqamli texnologiyalar orqali qayta ishlanishiga
erishish muhim natija hisoblanadi. Bunday jarayonda soʻzlarning turkumini aniqlash zarur. Jahon kompyuter lingvistikasidan ushbu lingvo-texnik
tahlilning soʻzlar turkumini aniqlash – PoS-tagger, ya’ni soʻz turkumlarini
teglash, shuningdek, uning matnlarni avtomatik qayta ishlash jarayoni
bosqichi ekanligi ma’lum. Til korpuslarini yaratish uchun boshlangan dast-
labki teglash harakatlari bugungi kunga kelib, matn bilan bogʻliq koʻplab
dolzarb masalalar yechimini bermoqda. NLP, ya’ni tabiiy tilni qayta ishlash jarayonida ham soʻz turkumlarini teglash birlamchi vazifa hisoblanib,
buning natijasida omonimlikni, koʻp ma’noli soʻzlar semantikasini aniqlash
kabi turli lingvistik noaniqlik matn tarkibida tahlil qilinishiga erishiladi.
Mazkur maqolada soʻz turkumlarini teglash zarurati, matnlarni
kompyuter tahlili jarayonidagi ahamiyati, teglash usullari haqida soʻz
yuritiladi.