Prev       Up     Next

فصل 9 : مثال­هايي از نقشه­هاي خودسامانده رشديابنده

 

1-9  مثال اول: دسته­بندي الگوها

2-9  مثال دوم: نمايش داده­ها

3-9  نتيجه

 

مدل­هاي شبکه­هاي رشديابنده (يا افزايشي) داراي ساختار از پيش تعيين شده نيستند. در مقابل، آنها توسط افزايش متوالي (و گاهي اوقات حذف) عناصر تشکيل دهنده، ايجاد مي­شوند. در نگاه اول اين شبکه­ها ممکن است قدري پيچيده­تر از شبکه­هاي داراي ساختار ثابت مانند شبکه عصبي پرسپتروني چند لايه و يا نقشه­هاي خودسامانده (که توپولوژي آنها از ابتدا معلوم است و در طي يادگيري تغيير نمي­کند) برسند. براي رشد دادن اين نوع از شبکه­ها بايستي استراتژي­هاي درج مناسب و نيز معياري براي چگونگي توقف رشد آنها تعيين شود.

آيا براي اين پيچيدگي مضاعف، بايستي کاري اضافه­تر از شبکه­هاي معمولي انجام دهيم؟ آيا هيچ دليل عملي يا حتي دليل موجهي براي استفاده از شبکه­هاي رشديابنده وجود دارد؟ اصولا چرا بايد از شبکه هاي خودسامانده رشديابنده استفاده کرد؟

در اين قصل سعي بر آن است که سئوالات مطرح شده فوق را بهمراه چند مثال عملي تشريح کنيم تا به مزاياي شبکه هاي خودسامانده رشديابنده پي ببريم.

در اين فصل دو مثال ارائه مي­کنيم تا بتوانيم شبکه­هاي رشديابنده و غير رشديابنده را با هم مقايسه کنيم [10].

 

1-9  مثال اول: دسته­بندي الگوها

 

يکي از خصوصيات مهم شبکه­هاي رشديابنده امکان تعيين يک معيار خطاي دلخواه براي درج واحدهاي جديد است. در مورد دسته بندي الگو يک معيار خطاي واضح، خطاي دسته بندي است. در شکل 9.1 يک شبکه RBF که توسط روش با نظارت GNG ايجاد شده، نمايش داده شده است. مسئله در اينجا يک دسته­بندي دو کلاسه و داده­ها شامل دو خوشه بزرگ است که به خوبي از هم جدا شده­اند و همچنين چهار خوشه کوچک­تر است که تقريبا به يکديگر نزديک هستند و از نظر شکل زياد فشرده نيستند.

روند رشد مبتني بر خطا باعث توزيع مراکز مي­شود که با توزيع داده­ها بطورقابل ملاحظه­اي متفاوت است. در شبکه نهايي خوشه­هاي بزرگ توسط تعداد کمي از گاوسي­هاي نسبتا بزرگ دسته بندي مي­شوند، درحاليکه اکثر گاوسي­ها در مناطقي با خوشه­هاي کوچک­تر که جداکردن آنها سخت­تر است، تجمع يافته­اند.

 

شکل 9.1 - دسته بندي با شبکه GNG با نظارت. اين شکل يک شبکه RBF را نشان مي­دهد که توسط روش GNG با نظارت و با خطاي دسته بندي بعنوان معيار درج توليد شده است.  (الف) گره­ها و لبه­هاي ايجاد شده (ب) انحراف معيارهاي گاوسي (که توسط ميانگين طول لبه محاسبه شده­اند) (ج) خروجي خام شبکه (د) مناطق تصميم بدست­آمده که توسط آستانه­سازي خروجي خام بدست آمده است.

 

در مقابل يک شبکه RBF مرسوم­تر در شکل 9.2 نشان داده شده است. اين شبکه در ابتدا با توزيع تعداد معيني از مراکز در فضاي بردار ورودي با يک روش دسته بندي (در اين مثال از روش NG همراه با قانون يادگيري رقابتي هب استفاده شده است). سپس موقعيت مراکز تثبيت شده­اند. توابع فعال­سازي گاوسي­ با مراکز داراي يک عرض انتخاب شده، برابر ميانگين طول لبه مرکز مربوطه متناظر هستند. سپس براي آموزش وزن­ها به واحد خروجي خطي منفرد که وظيفه تفکيک دو کلاس را دارد، از قانون دلتا استفاده مي­شود. اگرچه در اين مثال اندازه اين دو شبکه برابر است، ولي الگوهاي آموزشي کاملا آموزش نديده­اند. دليل اين امر اختصاص تعداد زيادي از واحدها به خوشه­هاي بزرگ ولي ساده است که نتيجه آن کمبود واحدهاي مورد نياز براي دسته بندي خوشه­هاي دشوارتر است.

چرا نتايج اين دو شبکه GNG با نظارت و RBF سنتي اينقدر متفاوت است؟ روش خوشه بندي مورد استفاده در شبکه RBF سنتي تنها از بخش ورودي داده­هاي آموزشي استفاده مي­کند (و از برچسب­هاي کلاس­ها صرفنظر مي­کند) بنابراين اين شبکه نمي­تواند ميزان سختي دسته بندي قسمت خاصي از فضاي ورودي را در نظر گيرد. از آنجا که همه داده­ها مشابه هستند، بيشترين کاري که يک روش خوشه­بندي کننده مي­تواند انجام دهد آن است که مراکز را بگونه­اي توزيع کند که هر مرکز قسمتي از داده ورودي را تحت پوشش قرار دهد. در فاز دوم مراکز انتقال نمي­يابند بلکه وزن­هاي لبه­هاي واحدهاي گاوسي به واحد خروجي خطي با استفاده از داده­هاي برچسب خورده موجود، آموزش مي­بينند. نقاط داده کلاس­هاي مختلف که در منطقه يک گاوسي قرار مي­گيرند، يک بردار فعال سازي مشابه را تحريک مي­کنند و واحد خروجي خطي حتي در فضاي 33-بعدي فعال سازي واحد گاوسي نيز نمي­تواند آنها را از هم تفکيک کند (در اين مثال بعد هر دو شبکه برابر 33 است) اين احتمالا اتفاقي است که در شبکه دوم رخ داده است.

در مقابل شبکه GNG با نظارت تنها با چند واحد کار خود را شروع مي­کند و بسرعت آموزش وزن­ها به واحد(هاي) خروجي شروع مي شود در حاليکه در همان زمان موقعيت مراکز نيز تطبيق داده مي شوند (اين ميزان تطبيق بسيار ناچيز است زيرا پارامترهاي تطبيق بسيار کوچک هستند). اگر خطاي دسته بندي رخ دهد، اين خطا در نزديکترين واحد گاوسي که آن قسمت از فضاي ورودي را تحت پوشش دارد، انباشته مي شود. پس از مدت کوتاهي واحد گاوسي که بيشترين ميزان خطا را دارد، q تعيين شده (اين واحد بيشترين مشکل را براي دسته بندي داده­هاي موجود در فضاي ورودي مربوط به خود دارد) و يک واحد جديد به آن قسمت از فضاي ورودي اضافه مي شود که قسمتي از داده­هاي مربوط به واحد q را تحت پوشش قرار مي دهد. اين مراحل تا آنجا تکرار مي­شود که شبکه به ميزان کافي خوب عمل کند. اگر در يک منطقه از فضاي ورودي خطاي دسته بندي رخ ندهد حتي اگر چگالي داده در آن منطقه بسيار زياد باشد، هيچ واحد جديدي به آن منطقه اضافه نخواهد شد. بنابراين شبکه منابع خود را تنها در مناطقي که عمل دسته بندي مشکل­تر است متمرکز مي­کند.

نکته مهم در اين نوع از شبکه­ها و بلکه در تمامي شبکه­هاي عصبي مشکل "برازش زيادي" است. اين مشکل براي هر دو نوع از شبکه­ها بحراني مي­باشد. اگر تعداد مراکز مورد استفاده در شبکه RBF سنتي را افزايش دهيم، شبکه به نقطه­اي خواهد رسيد که تمامي داده­هاي آموزشي بطور صحيح دسته بندي خواهد شد. از آنجا که روش خوشه بندي بدون نظارت مراکز را بدون توجه به برچسب­هاي آنها توزيع مي کند، در مناطقي که عمل دسته بندي داده­ها به آساني انجام مي­شود، مراکز بيشتري قرار مي گيرند که اين امر باعث برازش زيادي در آن مناطق مي­شود. از طرف ديگر در شبکه GNG با نظارت بايستي معياري براي توقف رشد تعيين شود، زيرا در غير اينصورت شبکه به رشد ادامه خواهد داد و واحدهاي جديد تا آنجا به شبکه اضافه مي­شوند که باعث برازش زيادي داده­ها شود. يک روش ساده براي جلوگيري از اين امر مشاهده ميزان کارايي شبکه برروي يک مجموعه ارزيابي مجزا است که در آموزش استفاده نمي­شود. هنگاميکه ميزان کارايي اين مجموعه ارزيابي پيشرفت نکند، آموزش در آن نقطه متوقف مي­شود.

شکل 9.2 - دسته بندي با استفاده از يک شبکه RBF سنتي. در شکل يک شبکه RBF با 33 واحد نشان داده شده است که در دو فاز تشکيل مي شود (Moody و Darken). در ابتدا مراکز به روش بدون نظارت توزيع مي­شوند. در اين مورد از روش گاز عصبي Martinez بهمراه قانون يادگيري رقابتي هب براي ايجاد ارتباطات استفاده شده است ولي استفاده از روش خوشه بندي ديگري مانند k-means نيز نتايج مشابهي را توليد مي­کند. در فاز دوم موقعيت مراکز ثابت است، و براي آموزش وزن­ها به واحد خروجي خطي منفرد، از قانون دلتا استفاده مي­شود. (الف) گره­ها و لبه­ها (ب) انحراف معيارهاي گاوسي­ها (که توسط ميانگين طول لبه محاسبه شده­اند) (ج) خروجي خام شبکه (د) مناطق تصميم که نشان مي دهد چگونه شبکه براي داده­هاي جديد تعميم پيدا مي­کند. اگرچه اين شبکه داراي اندازه­اي برابر شبکه GNG است ولي قادر به دسته بندي تمامي داده­هاي آموزشي نيست.

 

2-9  مثال دوم: نمايش داده­ها

 

به تصوير کشيدن (نمايش) داده­هاي پيچيده و با ابعاد زياد هر روز از اهميت بيشتري برخوردار مي­شود. از آنجا كه نقشه­هاي ويژگي خودسامانده نگاشتي از فضاي با ابعاد بالاي ورودي به ساختار با ابعاد کم (توپولوژي شبکه) انجام مي­دهند، اغلب از نقشه­هاي ويژگي خودسامانده براي به تصوير کشيدن داده استفاده مي­شود. اين ساختار اغلب يک شبکه توري 2-بعدي مستطيل شکل (و گاهي مربع شکل) از واحدها است. شبکه SOM اين عمل نگاشت و کاهش ابعاد را انجام مي­دهد ولي سئوال اين است که تا چه حد ارتباط توپولوژيک داده­هاي اصلي را حفظ مي کند؟ اخيرا تعريف دقيقي براي معيار حفظ توپولوژي توسط Villmann و همکارانش با نام تابع توپوگرافيک ارائه شده که مقايسه عيني بين معماري­هاي مختلف را امکان پذير ساخته است.

در اين مثال هدف آن است که نمايش يک مجموعه داده ساده را توسط روش­هاي (الف) نقشه ويژگي خودسامانده و (ب) روش شکبه توري رشديابنده، بررسي کنيم. اين داده­ها از يک ناحيه مستطيلي 1x9 بدست آمده است که براي نمايش ساده­تر برنگ سياه و سفيد درآمده است.

براي SOM از يک آرايه 15x15 و از روند خودساماندهي با پارامترها و توابع نزولي که Ritter ارائه کرده است، استفاده شده است. نتايج اين آزمايش در شکل 9.3 نشان داده شده است. تصوير (projection) شبکه در فضاي ورودي در شکل 9.3 (الف) و نمايش داده برروي نقشه در شکل 9.3 (ب) آمده است. از شکل نشان داده شده متوجه مي­شويم که اين نقشه داده­ها را بصورت اريب نمايش مي­دهد. از آنجا که شکل مانيفولد شامل داده (مستطيل باريک و دراز) و شکل نقشه (مربع) تقريبا متفاوت است، نتيجه بدست آمده زياد عجيب نيست. نگاشتي از يکي از آنها به ديگري صورت گرفته است ولي توپولوژي بصورت جزئي حفظ شده است.

اگر از همين داده­ها براي توسعه يک شبکه توري رشديابنده استفاده شود، نتايج همانطور که در شکل 9.4 نشان داده شده است، کاملا متفاوت است. در اين شبکه بين نمايش برروي نقشه و فواصل حقيقي در فضاي ورودي تناظر بهتري برقرار است.

 

شکل 9.3 - نقشه ويژگي خودسامانده که به يک ناحيه با توزيع يکنواخت تطبيق 1x9 دوبعدي يافته است. اين شبکه شامل 15x15 واحد است. بدليل تفاوت بين ساختار شبکه و شکل مانيفولد داده نتيجه حاصل داراي نمايشي اريب است.

 

يکي ديگر از خصوصيات روش شبکه توري رشديابنده در به تصوير کشيدن داده از اهميت زيادي برخوردار است. اگر پس از مشاهده نتايج به تفکيک بيشتري نياز باشد، مي­توان به شبيه­سازي ادامه داد و اجازه داد تا نقشه بيشتر و بيشتر رشد کند. با توجه به ثابت بودن تمام متغيرهاي مدل، اين عمل بسيار ساده است. ولي نقشه ويژگي خودسامانده که در شکل قبل آمده است در يک نقطه به اتمام مي­رسد. در اين شبکه پارامترها (بازه همسايگي و قدرت تطبيق) بتدريج و با زمانبدي خاصي کاهش مي­يابند و راه خاصي براي افزايش اندازه شبکه و ساماندهي مجدد آن بدون از دست دادن ترتيب بدست آمده فعلي وجود ندارد. تنها راه حل براي افزايش تفکيک تکرار تمامي مراحل با يک شبکه بزرگ­تر است. حتي در اينصورت نيز نمي­توان مطمئن بود که اندازه شبکه به اندازه کافي بزرگ است و ممکن است لازم باشد تا شبکه­هاي بزرگتري نيز امتحان شود. ولي با استفاده از شبکه توري رشديابنده مي­توان از همه نتايج بدست آمده در مرحله قبلي استفاده کرد.

 

شکل 9.4 - يک شبکه توري خودسامانده رشديابنده که مانند به يک توزيع مشابه شبکه قبلي تطبيق يافته است. شبکه با يک ساختار 2x2 شروع شده و بصورت خودکار به يک شبکه 6x43 گسترش مي­يابد. نسبت عرض/ طول شبکه برابر 17/7 است که تقريبا مشابه نسبت مانيفولد داده است.

 

3-9  نتيجه

 

در قسمت­هاي قبل سعي کرديم تا انگيزه از استفاده از شبکه­هاي خودسامانده رشديابنده را بوضوح بيان کنيم. در ابتدا مروري بر انواع مدل­هاي افزايشي داشتيم که همه آنها بر اساس قوانين ”درج مبتني بر اطلاعات خطاي انباشته محلي“ و تنها تفاوت آنها در محدوديت­هاي اعمال شده بر توپولوژي آنها است. ما اين مدل­هاي افزايشي را به روش­هاي ديگر مرتبط ساختيم و با دو مثال (يکي از يادگيري با نظارت و ديگري از يادگيري بي نظارت) مزاياي خاص روش­هاي افزايشي را نشان داديم.

 

اين مزايا بطور خلاصه عبارتند از:

·    امکان استفاده از معيار خطاي وابسته به مسئله که به اين طريق مي توان موقعيت واحدهاي جديد را معين کرد (هر گاه درج لازم باشد).

·    از آنجا که در اين مدل­ها از پارامترهاي ثابت استفاده شده است، فازهاي متفاوتي در روال خودساماندهي وجود ندارد لذا امکان قطع روال خودساماندهي و يا ادامه يک روال خودساماندهي که قبلا متوقف شده است، وجود دارد.

·    اعداد کمتري بايستي تعيين شوند: تعيين اندازه شبکه پيش از شروع روال خودساماندهي لازم نيست اما مي­توان آنرا بوسيله يک معيار کارايي بصورت غيرمستقيم تعيين کرد. براي هر پارامتر نيازي به تعيين مقدار اوليه، نهايي و تابع تغيير آن با زمان نمي­باشد بلکه تنها مقدار آن بايستي تعيين شود.