WORD2VEC METODI ORQALI MATNLARNI RAQAMLASHTIRISH VA MASHINALI O‘QITISH USULLARI ORQALI QAYTA ISHLASH

Abstract

Tabiiy tilni qayta ishlash (NLP) – tilshunoslik, kompyuter ilmlari va sun’iy intellektning kompyuter va inson o‘zaro ta’siri bilan bog‘liq bo‘lgan bo‘limi bo‘lib, asosan, tabiiy til ma’lumotlarini qayta ishlash va baholash uchun metodlar, algoritmlar va axborot tizimlarini loyihalash hamda ishlab chiqish masalalari bilan shug‘ullanadi. Hozirda NLP usullari vositasida katta hajmdagi til korpuslari va millionlab veb-sahifalar bir soniya ichida tahlil qilinishi mumkin. Shuningdek, NLP vazfalarini hal qilishda statistik va neyron tarmoqli metodlardan foydalanilmoqda. Ko‘pgina NLP ilovalari chuqur neyron tarmoq usullaridan foydalanib, texnologik taraqqiyot, kompyuter quvvatining ortishi va katta hajmdagi til korpuslarining mavjudligi tufayli samaradorlgi va aniqligi yuqori natija bermoqda. Matnli ma’lumotlarining aksariyati strukturlanmagan, Internet tizimi bo‘ylab tarqalgan hamda turli manbalarda joylashgan. Matnli ma’lumotlar to‘g‘ri olingan, jamlangan, formatlangan va tahlil qilingan bo‘lsa, foydali bilimlarni berishi mumkin. Matn tahlilini to‘g‘ri amalga oshirish kompaniya va tashkilotlarga turli yo‘llar bilan foyda keltirishi mumkin. Strukturlanmagan matnni tahlil qilish usullari matn tasnifi, hissiyotlarni tahlil qilish, NER obyektlarni aniqlash va mavzuni modellashtirish va boshqa NLP vazifalarini o‘z ichiga oladi. NLPning ushbu vazifalarining har biri turli kontekstlarda qo‘llaniladi. NLPning ushbu vazifalarini bajarish uchun, birinchi navbatda, mashinalar inson tilini tushunishi va qayta ishlashi uchun nutq va matnlarni raqamli shaklga o‘tkazish zarur. Tabiiy tilni talqin qiladigan va tushunadigan aqlli tizimlarni ishlab chiqishda strukturlanmagan matnli ma’lumotlar bilan ishlash, ularni sun’iy intellekt metodlari vositasida qayta ishlash maqsadida raqamli shaklga o‘tkazish lozim. So‘zlarni joylashtirish – bu tabiiy tildagi so‘zlarning umumiy semantikasi va lingvistik shablonlarini qamrab oluvchi so‘zlarning muayyan (fiksirlangan) uzunlikdagi vektor ko‘rinishlari. NLP tadqiqotchilari bunday tasvirlarni olishning turli usullarini taklif qilishgan. Jumladan, Word2ec 2013-yilda Google kompyaniyasi tadqiqotchilari tomonidan ishlab chiqilgan matnni qayta ishlashga va raqamlashtirishga mo‘ljallangan metod bo‘lib, uning asosiy maqsadi so‘zlarni vektorlar orqali ifodalashdan iborat. Word2vec metodi vostasida matndagi so‘zlarning semantikasi ma’no jihatdan kodlanadi. Ushbu maqolada Python tilidagi NumPy paketidan foydalangan holda word2vec metodi orqali o‘zbek tili matnlaridagi so‘zlarni raqamlashtirishni amalda qo‘llash masalasi ko‘rib chiqiladi.