سیدمحمد بیدکی

پیش پردازش و نرمال سازی متن فارسی یکی از چالش برانگیزترین مراحل در طراحی سیستم های بازیابی اطلاعات است. زبان فارسی به دلیل تنوع نگارشی، غنای صرفی و فقدان استاندارد یکسان، چالش های ویژه ای برای پردازش ماشینی ایجاد می کند. در این پژوهش، یک زنجیره پیش پردازش یکپارچه شامل نرمال سازی نویسه ای، توکن سازی، حذف واژه های توقف و ریشه یابی برای متن فارسی طراحی، پیاده سازی و ارزیابی شده است. این زنجیره بر روی مجموعه 1000 خبر فارسی از خبرگزاری IRNA با مدل TF-IDF آزموده شد. سه آزمایش مستقل انجام شد: (الف) بررسی تأثیر تجمعی هر مرحله پیش پردازش، (ب) مقایسه دو کتابخانه Hazm و Parsivar در چارچوب یکسان، و (ج) تحلیل عملکرد در سه حوزه پرسش خبری، ورزشی و سیاسی. نتایج نشان می دهد زنجیره کامل منجر به کاهش 64.5٪ حجم واژگان و افزایش F1@10 از 0.35 به 0.64 می شود. Hazm در حوزه های عمومی و Parsivar در حوزه خبری رسمی عملکرد بهتری نشان می دهند. این پژوهش یک خط مبنای شفاف و قابل تکرار برای سیستم های بازیابی اطلاعات فارسی فراهم می کند.