تشخیص متون محاوره از رسمی با روش های آماری

با رایج شدن ارتباطات مجازی و رشد استفاده از شبکه های اجتماعی، حجم دادگان متنی محاوره ر شد شدیدی دا شته ا ست به طوری که چشم پوشی از این منابع غنی برای متن کاوی امری محال است. با توجه به این که اکثر ابزار های تحلیل تحلیل و بررسی پردازش زیان طبیعی برای متون رسمی قابل استفاده هستند، پیش از هر پردازشی باید این متون محاوره از رسمی جدا شوند تا به فرم استاندارد رسمی خود تبدیل شوند. در این مقاله مدلی جهت تشخیص متون محاوره از ر سمی با ترکیب روش آماری و د ستوری ارایه می شود. از آن جا که دقت روش های آماری محور، به پیکره های مورد استفاده وابسته است، نیاز به دادگان معتبر و گسترده ای وجود دارد. تمام متون و پیکره های مورد ا ستفاده و روش ساخت آن ها در این مقاله تو صیف شده و الگوریتمی برای تشخیص متون محاوره از رسمی ارایه شده است. دقت F به دست آماده الگوریتم با استفاده از پیکره های توصیفی 05,96 است.

کلیدواژه ها:

تشخیص متن محاوره ، تشخیص متن رسمی ، روش آماری ، شبکه های اجتماعی ، پردازش زبان طبیعی