Sinonimayzer dasturida RoBERTaForMaskedLM modelidan leksik sinonimlarni aniqlash uchun foydalanish

Authors

  • Mohiyaxon Uzoqova
  • Mansurbek Narzullayev

Keywords:

sinonim, sinonimayzer, dataset, Roberta, tokenayzer, training loss, validation loss.

Abstract

Roberta turkumiga kiruvchi RobertaForMaskedLM modelini leksik sinonimlarni aniqlash uchun ishlatish mumkinligini ilgarigi tadqiqotlarimizda qayd etgan edik. Biroq mashq uchun to‘plangan ma’lumotning hajmi kichikligi va sifatining yuqori bo‘lmaganligi bois qoniqarli natija olinmaganligini xabar bergan edik. Ushbu tadqiqot davomida esa mashq uchun mo‘ljallangan hujjatlar hajmi hamda sifatini oshirgan holda bir necha bosqichda mashq jarayonini qayta amalga oshirdik. Buning natijasida esa yangi va ishonarli javoblarni qo‘lga kiritdik, natijalar tahlilini amalga oshirdik va jadvallarda aks ettirdik. Shuningdek, modelni o‘zbekcha sinonimayzer dasturiga muvaffaqiyatli tarzda integratsiya qildik.

Downloads

Published

2024-02-25