Prev       Up     Next

فصل 8 : الگوريتم GSOM براي فضاهاي ابرمکعبي خروجي

 

1-8 الگوريتم GSOM براي رشد در فضاي ابرمکعبي

2-8 مثال هاي واقعي

در اين فصل نسخه اي از الگوريتم GSOM را معرفي مي­کنيم که باعث تطبيق همزمان وزن­هاي نقشه فضاي ورودي و نيز توپولوژي فضاي خروجي مي­شود. در GSOM اتصال فضاي خروجي به يک ابرمکعب تعميم يافته محدود است، که در آن تعداد ابعاد و گسترش در جهت­هاي مختلف از موضوعات تطبيق مي­باشد. در انتها نتايج حاصل از الگوريتم GSOM براي داده هاي ترکيبي و نيز داده­هاي واقعي بيان مي شود.

نقشه­هاي خودسامانده از ترکيب انواعي از شبکه­هاي عصبي مهم بوجود مي آيند. در مغز انسان نقشه­هاي عصبي درهمه ابعاد حسي و مناطق محرک مغزي شکل گرفته اند. در مباحث فني از نقشه­هاي عصبي براي کوانتيزاسيون برداري که همسايگي را حفظ مي کنند استفاده مي شود که داده را از فضاي ورودي با ابعاد بالا  به فضاي خروجي A نگاشت مي دهند. معمولا A يک شبکه مستطيلي d بعدي از پيش تعيين شده مي باشد، در حاليکه ترتيب­هاي ديگر نيز قابل قبول هستند. بردارهاي وزني  متناظر با نورون هاي  هستند که موقيت خاصي در V را بيان مي کنند. نگاشت  توسط قانون زير بيان مي شود:

8.1

 براي انجام اين نگاشت، SOMها وزن هاي  را بگونه اي تطبيق مي دهند که فضاي ورودي به بهترين شکل و با کمترين تغيير به فضاي خروجي نگاشت پيدا کنند. دنباله اي از نقاط داده­ي v به نقشه ارائه مي­شوند، نزديک­ترين نورون s انتخاب شده و وزن آن  بهمراه وزن­هاي نورون­هاي ديگر در همسايگي s بسمت v منتقل مي شوند:

8.2

 قرارگرفتن در همسايگي s بوسيله تابع همسايگي  که در فضاي خروجي ارزيابي مي شود که معمولا بشکل تابع گاوسي است، تعيين مي شود.

8.3

 ويژگي حفظ همسايگي به انتخاب توپولوژي فضاي خروجي و ابعاد مورد نياز داده ورودي که يک احتمال اوليه ناشناخته است، وابسته است. بنابراين فضاي خروجي A بايستي پيش از آموزش مشخص شده باشد. بنابراين اگر هدف حفظ همسايگي توسط شبکه باشد، مشکلاتي ايجاد مي شود. بنابراين مي­توان ساختار A را تطبيق داد (و نه وزن­هاي ). در اين بخش يکي از انواع الگوريتم­هاي GSOM، که ترکيبي از تطبيق وزن­هاي SOM معمولي و روال رشد فضاهاي خروجي ابرمکعبي است، معرفي مي­گردد. در اينجا نياز است تا فضاي خروجي بشکل يک ابرمکعب (مستطيلي) باشد ولي اجازه مي دهيم تا ابعاد در جهت­هاي مختلف ابرمکعب متغير باشند. اين مطلب را اينگونه بيان مي­کنيم که موقعيت هاي فضاي خروجي را به شکل  نشان مي دهيم که  بيانگر تعداد کل گره­ها است.

 

1-8 الگوريتم GSOM براي رشد در فضاي ابرمکعبي

 

براي شبکه عصبي GSOM مورد بحث، Villmann و Bauer  يک پيکربندي 2 نوروني را براي شروع الگوريتم بکار گرفتند [9] که مطابق الگوريتم SOM معمولي آموزش مي بيند و با توجه به معيار خاصي که در زير به آن اشاره مي­شود، نورون­ها را به فضاي خروجي اضافه مي­کند. مجددا آموزش مي­بيند و نورون­ها را افزايش مي دهد تا زمانيکه تعداد نورون­ها به يک تعداد ماکزيمم از پيش تعيين شده برسند. در طي اين روند، توپولوژي فضاي خروجي به شکل  باقي مي ماند که در آن براي  ، و d تعداد ابعاد جاري A است. بنابراين پيکربندي اوليه  است. شبکه عصبي از اين وضعيت شروع به رشد مي کند. يادگيري با اضافه کردن گره­ها در يکي از جهاتي که توسط فضاي خروجي پوشش داده شده است، يعني  و يا با اضافه کردن يک بعد جديد يعني  صورت مي گيرد (شکل 8.1). اينکه کدام بعد بايد رشد کند و يا اينکه آيا نياز به ايجاد بعد جديد است، بر اساس ميزان نوسانات نقاط v که بر اساس معادله (8.1) به يک نورون مشترک نگاشت داده شده­اند (يعني در ميان نقاط داده ي ماسک شده در سلول ورونوئي  ي نورون r)، تعيين مي شود. در هنگام بازسازي v از نورون r ، خطاي  که از رابطه ي زير محاسبه مي شود،

8.4

 در ميان جهات مختلف باقي مي ماند که در نتيجه تصوير کردن مجدد شبکه فضاي خروجي به فضاي ورودي A (شکل 8.2) بوجود مي آيد. بنابراين بيانگر بردار واحد در جهت i مي باشد.

تابع معيار براي رشد الگوريتم در اينجا بايد گره ها را در جهتي که داراي بزرگترين اندازه­ي ميانگين خطا است، اضافه کند. در ابتدا بايستي خطاهاي باقيمانده  را براي بدست آوردن بزرگي خطاي  براي رشد در يک جهت جديد ارزيابي کنيم. واضح است که استفاده از  به تنهايي کافي نيست، زيرا در فضاي ورودي با ابعاد زياد و با وجود نويز در همه جهات، بدليل ”نفرين ابعاد[1]“ ممکن است مقادير بزرگي براي  بوجود آيد که خود باعث اضافه کردن ابعاد جديد مي شود (البته اين امر براي داده ي ورودي الزامي ندارد). در عوض ما مقادير خطاي باقيمانده ي  را براي تمام محرک ها در يک سلول ورونوئي خاص  را بدست مي آوريم و اولين مولفه اصلي  آنها را محاسبه مي کنيم. تصوير  برروي جهت  ،   را بدست مي دهد:

8.5

 

شکل 8.1 - توصيف تصميمي که بايستي در طي روند رشد گرفته شود.
يک شبکه موجود را مي توان در جهت موجود و يا جهات جديد رشد داد.

 

سپس بزرگي انحراف را براي هر محرک بصورت مجزا نرماليزه مي­کنيم و سپس ميانگين بزرگي­ها را محاسبه مي­کنيم.

8.6

 

 يک شبکه ممکن است در جهتي که داراي بزرگترين اندازه ي  است رشد کند. از طرف ديگر، اگر از يک لايه جديد در فضاي خروجي براي پوشش جهت خاص i از مانيفولد ورودي استفاده کنيم، انحراف در اين جهت تقريبا با ضريبي از  کاهش مي يابد.

بنابراين مي توان تصميم گيري را بر مبناي بزرگي انحراف  پس از رشد، انجام داد. در اينجا راه حلي براي ايجاد تعادل بين اين دو روش و انتخاب جهت رشد j  ارائه مي شود:

8.7

 

شکل 8.2 - توصيف معيار تعيين کننده­ي جهت صحيح رشد

 

هنگاميکه جهت مطلوب رشد انتخاب شد، بايد گره­هاي جديد را مقداردهي کرد. اگر شبکه در جهت رشد داراي يک گسترش  باشد، مي توان گره­ها را به لايه­ي  از فضاي خروجي اضافه کرد. پس از مرحله رشد، يک فاز آموزش براي تنظيم مجدد نقشه بايستي صورت گيرد. با توجه به اينکه ساختار نقشه تغيير کرده است، احتمال برهم خوردن ترتيب وجود دارد. بنابراين فاز آموزش بايد با يک مقدار  جديد مجددا آغاز شود. بهرحال مشابه آموزش SOM معمولي براي بايد در انتهاي فاز آموزش مقادير کوچکي اختيار شود تا جزئيات توزيع داده­ها را نشان دهد. براي اينکه اين دو جنبه متضاد رعايت شوند، بايد به يک روش دندان اره اي (با مقادير بزرگ در ابتدا و مقادير کوچک انتهاي هر سيکل) تغيير کند. در شبيه سازي انجام شده در طي هر فاز يادگيري بصورت نمايي کاهش مي يابد. ما اثر قابل توجهي را با تغيير نحوه کاهش در ساختار نقشه هاي منتج شده مشاهده نمي­کنيم. تنها اثر قابل ذکر آن است که اندازه تعيين مي کند که نقشه تا چه حد مي تواند تمام نوسانات توزيع داده را دنبال کند. اين اثر براي الگوريتم GSOM منحصربفرد نيست، و در SOM هاي معمولي هم اتفاق مي­افتد.

اين الگوريتم بايد يک فضاي خروجي تطبيق شده­ي بهينه را ايجاد کند و بنابراين نقشه منتج شده بايستي بخوبي همسايگي را حفظ کند. بهرحال ميزان حفظ همسايگي در طي اين تطبيق، نه اندازه گيري و نه تقويت مي شود. بنابراين اين خصوصيت، ويژگي مستقلي است که بايد جداگانه  مورد بررسي قرار گيرد. براي اين منظور چندين روش اندازه گيري بکار رفته اند. در اينجا ما از حاصلضرب توپوگرافيک P استفاده مي­کنيم. در طي محاسبات P ، براي هر گره r دنباله  و  بايستي تعيين شوند که در آن،  k امين همسايه r (فاصله آن در فضاي خروجي اندازه گيري شده است) و ، k امين همسايه r (فاصله آن در فضاي ورودي بين و ارزيابي شده است)، را بيان مي­کنند. معادله اي که از آن براي محاسبه P استفاده مي کنيم در زير آمده است:

8.8

 که در آن P مي تواند مقداري مثبت يا منفي داشته باشد و بصورت زير تفسير مي شود: اگر  باشد، فضاي خروجي داراي ابعاد کمي مي باشد و در مقابل اگر  باشد، فضاي خروجي داراي ابعاد زيادي مي باشد. در هر دو مورد رابطه همسايگي مختل مي شود. تنها اگر  باشد، فضاي خروجي تقريبا با توپولوژي داده ورودي مطابقت مي کند.

 

2-8 مثال هاي واقعي  

 

در يک سري آزمايشاتي که برروي الگوريتم GSOM انجام شده است، نقاط داده از فضاهاي ورودي با هندسه ساده (مانند خط ها، مستطيل ها، مربع ها، مکعب ها)، بدون وابستگي به پارامترهاي خاصي، به فضاهاي خروجي با هندسه هاي مشابه نگاشت داده مي شوند. بعنوان مثال نقشه هايي را براي نقاط داده اي که تمام فضاي ورودي را نمي پوشانند ولي داراي ابعاد کمي هستند و برروي يک مانيفولد غيرخطي قرار دارند، درنظر بگيريد. ما يک فضاي ورودي 3بعدي را انتخاب مي­کنيم تا بتوانيم نتايج خروجي را رسم کنيم که در آن نقاط داده ي  بوسيله پارامترهاي r و s زير مشخص مي شوند:

                    

الگوريتم GSOM را برروي اين مجموعه داده ها و با پارامترهاي زير اجرا مي­کنيم:

 

 در انتها، الگوريتم GSOM فضاي خروجي را با تعداد ابعاد d=2 و تعداد گره هايي برابر  و در دو جهت تنظيم مي کند.

در اجراهاي بعدي ما اين موضوع را بررسي مي کنيم که آيا مي­توان مانيفولد داده در فضاهاي با ابعاد زيادتر (با وجود نويز در همه جهات مختلف)، را تشخيص داد يا خير. به اين منظور ما ابعاد فضاي ورودي را تا  زياد مي کنيم و پارامترها را مشابه پارامترهاي بالا در نظر مي گيريم. همچنين  است که در آن  متغيري تصادفي با توزيع يکنواخت و  انتخاب مي شود. با شبيه سازي اين GSOM با سري جديد داده هاي تغيير داده شده، هيچگونه تفاوتي را با حالت بدون نويز با سطوح پائين نويز  مشاهده نکرديم. در سطوح بالاتري از نويز  ابعاد اضافي فضاي خروجي توسط الگوريتم تقويت مي شوند (در  تا يک فضاي خروجي  و با  گسترش مي يابد). اين افزايش  يک نقطه ضعف در الگوريتم محسوب نمي­شود بلکه نتيجه انحراف نقاط داده از يک مانيفولد 2بعدي است. با توجه به گره هاي موجود، نقشه سعي مي­کند تا ابعاد اضافي 4 تا 10 را نيز نمايش دهد. طريقه تمايز بين ابعاد داده وابسته و ابعاد نويز غير وابسته و نيز چگونگي کنترل پارامتر  براي جلوگيري از گسترش در ابعاد غير وابسته، در اين مبحث رشد فضاي خروجي نمي گنجد و در جاي ديگر از آن بحث مي شود.

همچنين Villmann و Bauer آزمايش­هايي براي تست الگوريتم GSOM با داده­هاي واقعي نيز انجام دادند. آزمايش اول برروي داده هاي گفتاري انجام گرفت. مجموعه داده ورودي شامل 10 رقم (آلماني) است که 10 مرتبه و هر مرتبه توسط گوينده­ي متفاوتي بيان شده است. پيش پردازش اين شبکه GSOM منجر به ايجاد 1023 بردار ويژگي در يک فضاي ورودي 19بعدي شد. الگوريتم رشد GSOM مورد بحث براي اين مجموعه داده گفتاري با  گره نقشه هايي با: الف)  ، ب)  و ج)  گره را ايجاد مي کند. با استفاده از حاصلضرب توپوگرافيک P اکنون اين نقشه ها را با توجه به ميزان حفظ همسايگي آنها بررسي مي کنيم. مقادير بدست آمده به ترتيب عبارتند از:

 براي مرتبط کردن اين مقادير به نقشه هاي معمولي، همچنين نقشه هايي را با فضاي خروجي ثابت و با ابعاد 1 تا 5 را آموزش مي دهيم. در اين شرايط مقادير:

  

 بدست مي آيند. بنابراين نقشه هايي که فضاي خروجي آنها رشد گرده است به خوبي نقشه­هايي با فضاي خروجي ثابت، همسايگي را حفظ مي کنند.

در آزمايش دوم Villmann و Bauer از تصاوير ماهواره ي LANDSAT-TM استفاده کردند. ماهواره LANDSAT-TM تصاوير زمين را در 7 باند طيفي تهيه مي کند. رزولوشن اين تصاوير در باندهاي 1 تا 5 و 7 ، 30x 30 متر و در باند 6 تنها 60x 60 متر است. اين باندهاي طيفي حوزه­هاي مناسبي از کل طيف را جهت شناسايي و تمايز پوشش گياه، آب، سنگ و همچنين ويژگي هاي اقليمي بدست مي دهد. اطلاعات طيفي يعني شدت باندهاي متناسب با هر پيکسل صحنه از LANDSAT توسط يک بردار  با )تعداد باندهاي طيفي) نمايش داده مي شود. بدليل درشت بودن رزولوشن در باند 6 (باند حرارتي)، اطلاعات اين باند معمولا بدون استفاده است. بنابراين داده هاي LANDSAT به شکل ابرهايي از نقاط در فضاي 6بعدي نشان داده مي شود. هدف هر طبقه بندي کننده در اين فضا، تقسيم فضاي داده به زيرمجموعه هايي از نقاط داده است که به يک گروه خاص متناظر با يک ويژگي خاص مثل دريا، جنگل، منطقه صنعتي و غيره (هر ويژگي توسط يک بردار داده ي نمونه خاص بيان مي شود)، متعلق است. يک روش براي حصول نتايج قابل رؤيت استفاده از SOM با ابعاد  است. سپس قادر خواهيم بود تا موقعيت نورون هاي شبکه A را بصورت بردارهاي رنگ  ، در فضاي رنگ C نشان دهيم که در آن  به ترتيب شدت رنگ هاي قرمز، سبز و آبي هستند. اين روش باعث ايجاد مي شود تا به هر نورون برنده رنگ خاصي را اختصاص دهيم تا يک نسخه رنگي از تصوير اوليه برسيم. ولي از آنجا که ما داده­ها را از فضاي 6بعدي به فضاي 3بعدي رنگ ها نگاشت مي دهيم، ممکن است مشکلاتي در اين ميان رخ دهد (ناسازگاري ابعاد) که باعث مي شود تا نتايج گرافيکي نقشه داراي کيفيت خوبي نباشد.

 

شکل 8.3 - نقشه GSOM با a) 28 x 9 گره، b) با 64 x 4 گره، c) با 16 x 16 گره و d) با 7 x 6 x 6 گره.
بردارهاي وزن
 برروي مانيفولد 2بعدي از فضاي  که با نقاط داده پوشش داده شده است، قرار دارند.

 

براي مثال، در اين قسمت Villmann و Bauer از تصويري مربوط به شمال غربي لايپزيگ (Leipzig) استفاده کردند. در اينجا الگوريتم GSOM با  منجر به ايجاد نقشه­اي با 18x16 نورون مي­شود يعني نگاشتي که تنها 2 بعد از فضاي 3بعدي رنگ هاي ممکن را استفاده مي کند. براي اينکه ببينيم آيا نتايج اين روش با نتايج روش هاي ديگر سازگار است يا خير، شبکه هاي SOM با ابعاد  را نيز آموزش داديم (به ترتيب با تعداد 256 ، 16 x 16 و 7 x 6 x 6 نورون). ارزيابي ميزان حفظ همسايگي براي اين نقشه ها با استفاده از حاصلضرب توپوگرافيک P، مقادير  را براي اين نقشه­هاي يک، دو و سه بعدي بدست مي­دهد. بنابراين نقشه GSOM حاصل شده، مشابهت زيادي با نقشه­ي حاصل از روش­هاي سعي و خطاي طاقت فرسا دارد. اين دو مثال نشان مي دهند که الگوريتم رشد بخوبي کار مي کند و ساختارهاي مناسبي از شبکه هاي نوروني را بدست مي دهند.

 

[1]  نفرين ابعاد يکي از خصوصيات مسائل طبقه بندي يا رگرسيون و به اين معني است که فضاي ويژگي با ابعاد زيادتر باعث ايجاد تعداد زيادتري از پارامترها مي شود که بايستي تخمين زده شود. در نتيجه با افزايش تعداد پارامترها احتمال Over fitting در مدل نياز تقويت مي شود. يعني بهترين تعميم کارآيي زماني حاصل مي شود که زير مجموعه اي از ويژگي­هاي موجود بکار روند.