احمد شیرزادی

شبکه های حالت پژواک (Echo State Networks یا ESNs) به عنوان ابزارهای قدرتمندی برای پیش بینی سری های زمانی مطرح شده اند، اما عملکرد آن ها به شدت به چگونگی مقداردهی اولیه مخزن (reservoir) وابسته است، که به طور سنتی بر پایه وزن های تصادفی و مستقل از ویژگی های داده های ورودی انجام می شود. این مقاله چارچوب نظری نوآورانه ای همراه با یک روش بهینه سازی برای طراحی مخزن ESN ارائه می دهد و نشان می دهد که وزن های مخزن باید بر اساس ویژگی های داده های ورودی تنظیم شوند و این که هم توپولوژی و هم وزن ها تأثیر قابل توجهی بر دقت پیش بینی دارند. با بهره گیری از بینش های نظری در مورد رفتار مخزن وابسته به ورودی، دو روش مکمل پیشنهاد می کنیم: 1. یک رویکرد نظارت شده (supervised) که مستقیماً وزن های مخزن را با استفاده از گرادیان نزولی بهینه می کند. 2. یک تکنیک نیمه نظارتی (semi-supervised) که ویژگی های شبکه های "جهان کوچک" (small-world) و "مقیاس آزاد" (scale-free) را با بهینه سازی ابرپارامترها ترکیب می کند. آزمایش های گسترده ما روی مجموعه داده های مختلف، از جمله سری های زمانی Mackey-Glass و NARMA، نشان می دهند که روش های پیشنهادی به طور مداوم عملکرد بهتری نسبت به ESNهای سنتی دارند و خطای پیش بینی را به طور قابل توجهی کاهش می دهند. مهم تر از همه، تحلیل ما نشان می دهد که پارامترهای اتصال بین یال ها نقش حیاتی دارند و پس از اندازه مخزن، دومین عامل تعیین کننده در عملکرد شبکه هستند. این یافته ها راهنمایی های عملی مهمی برای طراحی ESN فراهم می کنند و مسیرهای جدیدی را برای بهینه سازی خودکار مخزن بر اساس ویژگی های داده های ورودی می گشایند.