برچسبزن دستوری واژگان فارسی به کمک مدلهای پنهان مارکوف

در این مقاله به نحوه پیادهسازی برچسبزن دستوری واژگان فارسی براساس مدلهای پنهان مارکوف پرداخته می شود . این برچسبزن به منظور تغذیه داد ه ای برای قسمتهایی نظیر یافتن مکثهای بین کلمهای، رفع ابهام کلمه های هموگراف، یافتن نقشنمای اضافه و ... استفاده شده است. این برچسبزن، دارای یک لغتنامه دستوری با 61521 کلمه و 64003 عدد - 3gram به عنوان مدل زبانی است . همچنین از کدبردار ویتربی موجود در ابزار گفتار دانشگاه ادینبرگ استفاده شده است. میزان متوسط دقت کلی این سیستم، %95.11 است. همچنین، میزان دقت این سیستم در تشخیص برچسب دستوری کلمات شناختهشده و ناشناخته به ترتیب 96.136% و 60.25 % میباشد.

کلیدواژه ها:

برچس بزن دستوری ، مدلهای پنهان مارکوف ، پردازش زبان طبیعی ، نرمالسازی متن ، الگوریتم ویتربی