|
Title
|
بهبود بازيابي اطلاعات فارسي از طريق زنجيره پيش پردازش يكپارچه: رويكردي مبتني بر ابزارهاي پردازش زبان طبيعي بومي
|
|
Type
|
Presentation
|
|
Keywords
|
بازيابي اطلاعات، پيش پردازش، نرمال سازي، زبان فارسي، مدل فضاي برداري
|
|
Abstract
|
پيش پردازش و نرمال سازي متن فارسي يكي از چالش برانگيزترين مراحل در طراحي سيستم هاي بازيابي اطلاعات است. زبان فارسي به دليل تنوع نگارشي، غناي صرفي و فقدان استاندارد يكسان، چالش هاي ويژه اي براي پردازش ماشيني ايجاد مي كند. در اين پژوهش، يك زنجيره پيش پردازش يكپارچه شامل نرمال سازي نويسه اي، توكن سازي، حذف واژه هاي توقف و ريشه يابي براي متن فارسي طراحي، پياده سازي و ارزيابي شده است. اين زنجيره بر روي مجموعه 1000 خبر فارسي از خبرگزاري IRNA با مدل TF-IDF آزموده شد. سه آزمايش مستقل انجام شد: (الف) بررسي تأثير تجمعي هر مرحله پيش پردازش، (ب) مقايسه دو كتابخانه Hazm و Parsivar در چارچوب يكسان، و (ج) تحليل عملكرد در سه حوزه پرسش خبري، ورزشي و سياسي. نتايج نشان مي دهد زنجيره كامل منجر به كاهش 64.5٪ حجم واژگان و افزايش F1@10 از 0.35 به 0.64 مي شود. Hazm در حوزه هاي عمومي و Parsivar در حوزه خبري رسمي عملكرد بهتري نشان مي دهند. اين پژوهش يك خط مبناي شفاف و قابل تكرار براي سيستم هاي بازيابي اطلاعات فارسي فراهم مي كند.
|
|
Researchers
|
Mohammad Bidoki (First researcher)
|