ارزیابی روش های وزن دهی به شاخص ها مبتنی بر یک الگوریتم ترکیبی در حوزه طبقه بندی نامه های الکترونیکی

طبقه بندی متون یک مسئله پردازش زبان طبیعی می باشد و می تواند به عنوان انتساب سندهای طبقه بندی نشده به یک یا بیشتر طبقه های از پیش تعریف شده، براساس محتوایشان دیده شود. امروزه با توجه به گسترش روز افزون شبکه جهانی، یکی از مسائلی که در زمینه طبقه بندی متون غیر ساخت یافته اهمیت بسیار چشمگیری یافته است، مسئله نامه های الکترونیکی ناخواسته )هرزنامه( می باشد. با توجه به افزایش استفاده از نامه های الکترونیکی، هرزنامه ها نیز روز به روز بیشتر می شوند. هرزنامه ها هر روز با ترفندی جدید ظاهر شده و مشکلات زیادی را ایجاد می کنند. لذا طراحی سیستم های کارا جهت فیلترینگ موثر هرزنامه ها از اهمیت فوق العاده ای برخوردار است. یکی از مراحل مهم در فیلترکردن هرزنامه ها که تاثیر بسیار زیادی در افزایش دقت و سرعت تشخیص دارد، انتخاب روش مناسب وزن دهی به شاخص ها در مرحله آماده سازی متون جهت طبقه بندی می باشد. در این مقاله به منظور ارزیابی روش های وزن دهی - - به شاخص ها از مدل ترکیبی مبتنی بر الگوریتم های یادگیری ماشین و برای شاخص گذاری از روش های 2 گرم و 3گرم و 4 گرم استفاده شده است. جهت ارزیابی و مقایسه نتایج، از روش های متداول وزن دهی به شاخص ها در مرحله -آماده سازی متون استفاده شده است. نتایج ارزیابی نشان دهنده کارایی بهتر روش TF-IDF نسبت به روش های دیگروزن دهی بر روی مجموعه داده های Spam Collection است.

کلیدواژه ها:

متن کاوی ، طبقه بندی متون ، وزن دهی به شاخص ها ، یادگیری ماشین ، TF-IDF