معادل یابی اعمال در عاملهای غیر همسان: گامی به سوی همکاری در یادگیری

همکاری در یادگیری، سرعت و کیفیت یادگیری را ارتقاء می دهد. آنچه که باید مورد توجه ویژه قرار گیرد، نحوه همکاری عاملهای غیر همسان است. اگر مساله غیر همسانی به نحو مطلوبی حل و فصل نشود، همکاری در یادگیری نه تنها مفید نیست، بلکه می تواند یادگیری انفرادی عاملها را مختل کند. در این مقاله با استفاده ازجدول نگاشت اعمال، نوعی از همکاری برای حل مساله غیر همسانی موجود در مجموعه اعمال عاملها پیشنهاد شدهاست. در این روش، برای هر عمل از یک عامل، معادلهای ممکن درمجموعه اعمال عامل دیگر پیدا میشود. با استفاده از روش پیشنهادی می توان ضمن پیشرفت روند یادگیری فردی (با روش Q-Learning) معادل یابی اعمال را نیز انجام داد. به این منظور از قالبی مشابه Q-Learning برای یادگیری جدول نگاشت اعمال استفاده شدهاست. این روش در دوحالت مورد بررسی قرار گرفته است، در حالتی که مجموعه اعمال عاملهایکسان اما ترتیب انها ناشناخته است و در حالتی که مجموعه اعمال یکی از زیر مجموعۀ مجموعه اعمال دیگری است. کمک گرفتن از عاملی خبره تر برای انتخاب اعمال، یک فرضیه اساسی تامین کننده صحت این روش است. در هر دو حالت نشان داده شده که خبره تر بودن عامل پیشنهاد دهنده اعمال، به سریع تر پیدا شدن معادلها کمک می کند. هرچه این خبرگی کمتر باشد، مدت زمان همگرا شدن جدول نگاشت اعمال طولانی تر شده و احتمال همگرا شد به مقادیر نادرست بیشتر می شود. صحت عملکرد روش پیشنهادی با کمک ازمایش هایی نشان داده شده است.

کلیدواژه ها:

عاملهای غیرهمسان ، جدول نگاشت اعمال ، همکاری در یادگیری ، یادگیری تقویتی