یادگیری عمیق چیست؟

خلاصه

یادگیری عمیق (DL)، شاخه ای از یادگیری ماشین (ML) و هوش مصنوعی (AI) امروزه به عنوان یک فناوری اصلی انقلاب صنعتی چهارم امروز (4IR یا Industry 4.0) در نظر گرفته می شود.  به دلیل قابلیت یادگیری از داده ها، فناوری DL که از شبکه عصبی مصنوعی (ANN) سرچشمه می گیرد، به یک موضوع داغ در زمینه محاسبات تبدیل شده است و به طور گسترده در زمینه های مختلف کاربردی مانند مراقبت های بهداشتی، تشخیص بصری، تجزیه و تحلیل متن، امنیت سایبری و  خیلی بیشتر.  با این حال، ساخت یک مدل DL مناسب، به دلیل ماهیت پویا و تغییرات در مشکلات و داده‌های دنیای واقعی، یک کار چالش‌برانگیز است.  علاوه بر این، فقدان درک اصلی، روش‌های DL را به ماشین‌های جعبه سیاه تبدیل می‌کند که مانع توسعه در سطح استاندارد می‌شود.  این مقاله یک دیدگاه ساختاریافته و جامع درباره تکنیک‌های DL از جمله طبقه‌بندی با در نظر گرفتن انواع مختلفی از وظایف دنیای واقعی مانند تحت نظارت یا بدون نظارت ارائه می‌کند.  در طبقه بندی خود، شبکه های عمیق را برای یادگیری تحت نظارت یا تبعیض، یادگیری بدون نظارت یا مولد و همچنین یادگیری ترکیبی و سایر موارد مرتبط در نظر می گیریم.  همچنین حوزه‌های کاربردی دنیای واقعی را که می‌توان از تکنیک‌های یادگیری عمیق استفاده کرد، خلاصه می‌کنیم.  در نهایت، به ده جنبه بالقوه برای مدل‌سازی DL نسل آینده با جهت‌های تحقیقاتی اشاره می‌کنیم.  به طور کلی، هدف این مقاله ترسیم یک تصویر بزرگ در مورد مدل‌سازی DL است که می‌تواند به عنوان راهنمای مرجع هم برای دانشگاهیان و هم برای متخصصان صنعت مورد استفاده قرار گیرد.

معرفی

در اواخر دهه 1980، شبکه‌های عصبی به دلیل ابداع روش‌های مختلف یادگیری کارآمد و ساختارهای شبکه، به یک موضوع رایج در حوزه یادگیری ماشین (ML) و همچنین هوش مصنوعی (AI) تبدیل شدند.  شبکه‌های پرسپترون چندلایه که توسط الگوریتم‌های نوع «انتشار پس‌پشتی»، نقشه‌های خودسازماندهی و شبکه‌های تابع پایه شعاعی آموزش داده شده‌اند، چنین روش‌های نوآورانه‌ای بودند.  در حالی که شبکه های عصبی با موفقیت در بسیاری از برنامه ها استفاده می شوند، علاقه به تحقیق در این موضوع بعدا کاهش یافت.  پس از آن، در سال 2006، “یادگیری عمیق” (DL) توسط هینتون و همکاران معرفی شد. که مبتنی بر مفهوم شبکه عصبی مصنوعی (ANN) بود.  یادگیری عمیق پس از آن به یک موضوع برجسته تبدیل شد، که منجر به تولد دوباره در تحقیقات شبکه های عصبی شد، از این رو، برخی اوقات به عنوان “شبکه های عصبی نسل جدید” نامیده می شود.  این به این دلیل است که شبکه های عمیق، زمانی که به درستی آموزش داده شوند، موفقیت قابل توجهی در انواع چالش های طبقه بندی و رگرسیون ایجاد کرده اند.

امروزه فناوری DL به دلیل قابلیت یادگیری از داده های داده شده، به عنوان یکی از موضوعات داغ در حوزه یادگیری ماشین، هوش مصنوعی و همچنین علم داده و تجزیه و تحلیل در نظر گرفته می شود.  بسیاری از شرکت ها از جمله گوگل، مایکروسافت، نوکیا و غیره، آن را به طور فعال مطالعه می کنند، زیرا می تواند نتایج قابل توجهی را در مشکلات طبقه بندی و رگرسیون مختلف و مجموعه داده ها ارائه دهد.  از نظر حوزه کاری، DL به عنوان زیرمجموعه ای از ML و AI در نظر گرفته می شود و بنابراین DL را می توان به عنوان یک تابع هوش مصنوعی که پردازش داده های مغز انسان را تقلید می کند، مشاهده کرد.  محبوبیت جهانی “یادگیری عمیق” روز به روز در حال افزایش است، که در مقاله قبلی ما بر اساس داده های تاریخی جمع آوری شده از روندهای گوگل نشان داده شده است.  یادگیری عمیق از نظر کارایی با یادگیری ماشین استاندارد با افزایش حجم داده متفاوت است، که به طور خلاصه در بخش «چرا یادگیری عمیق در تحقیقات و کاربردهای امروزی؟» بحث شده است.  فناوری DL از چندین لایه برای نمایش انتزاع داده ها برای ساخت مدل های محاسباتی استفاده می کند.  در حالی که یادگیری عمیق به دلیل تعداد زیاد پارامترها برای آموزش یک مدل زمان زیادی می برد، در مقایسه با سایر الگوریتم های یادگیری ماشین زمان کوتاهی برای اجرا در طول آزمایش نیاز است.

در حالی که چهارمین انقلاب صنعتی امروزی (4IR یا Industry 4.0) معمولاً بر روی «اتوماسیون، سیستم‌های هوشمند و هوشمند» مبتنی بر فناوری متمرکز است، فناوری DL که از ANN نشات می‌گیرد، به یکی از فناوری‌های اصلی برای دستیابی به هدف تبدیل شده است.  یک شبکه عصبی معمولی عمدتاً از بسیاری از عناصر پردازشی ساده و متصل یا پردازشگرهایی به نام نورون ها تشکیل شده است که هر یک از آنها یک سری فعال سازی با ارزش واقعی را برای نتیجه هدف ایجاد می کند.  شکل 1 یک نمایش شماتیک از مدل ریاضی یک نورون مصنوعی را نشان می‌دهد، به عنوان مثال، عنصر پردازش، ورودی برجسته (Xi)، وزن (w)، بایاس (b)، تابع جمع (∑∑)، تابع فعال‌سازی (f)  و سیگنال خروجی مربوطه (y).  فناوری DL مبتنی بر شبکه عصبی در حال حاضر به طور گسترده در بسیاری از زمینه ها و زمینه های تحقیقاتی مانند مراقبت های بهداشتی، تجزیه و تحلیل احساسات، پردازش زبان طبیعی، تشخیص بصری، هوش تجاری، امنیت سایبری و بسیاری موارد دیگر که در قسمت آخر این مقاله خلاصه شده است، استفاده می شود.

نمایش شماتیک مدل ریاضی یک نورون مصنوعی (عنصر پردازش)، ورودی برجسته (Xi)، وزن (w)، بایاس (b)، تابع جمع (∑∑)، تابع فعال سازی (f) و سیگنال خروجی (y)  )

اگرچه مدل‌های DL با موفقیت در زمینه‌های کاربردی مختلف، که در بالا ذکر شد، اعمال می‌شوند، ساخت یک مدل مناسب یادگیری عمیق، به دلیل ماهیت پویا و تنوع مشکلات و داده‌های دنیای واقعی، یک کار چالش برانگیز است.  علاوه بر این، مدل‌های DL معمولاً به عنوان ماشین‌های «جعبه سیاه» در نظر گرفته می‌شوند که مانع توسعه استاندارد تحقیقات و برنامه‌های یادگیری عمیق می‌شوند.  بنابراین برای درک واضح، در این مقاله، ما یک دیدگاه ساختاریافته و جامع در مورد تکنیک‌های DL با در نظر گرفتن تغییرات در مسائل و وظایف دنیای واقعی ارائه می‌کنیم.  برای دستیابی به هدفمان، به طور مختصر درباره تکنیک‌های مختلف DL بحث می‌کنیم و با در نظر گرفتن سه دسته اصلی، یک طبقه‌بندی ارائه می‌کنیم: (1) شبکه‌های عمیق برای یادگیری تحت نظارت یا تبعیض‌آمیز که برای ارائه یک عملکرد متمایز در کاربردهای یادگیری عمیق نظارت شده یا طبقه‌بندی استفاده می‌شود.  (۲) شبکه‌های عمیق برای یادگیری بدون نظارت یا مولد که برای مشخص کردن ویژگی‌ها یا ویژگی‌های همبستگی مرتبه بالا برای تحلیل یا سنتز الگو استفاده می‌شوند، بنابراین می‌توانند به عنوان پیش پردازش برای الگوریتم نظارت شده استفاده شوند.  و (۲) شبکه‌های عمیق برای یادگیری ترکیبی که ادغام مدل‌های تحت نظارت و بدون نظارت و سایر مدل‌های مرتبط است.  ما چنین دسته‌هایی را بر اساس ماهیت و قابلیت‌های یادگیری تکنیک‌های مختلف DL و نحوه استفاده از آنها برای حل مشکلات در برنامه‌های کاربردی دنیای واقعی در نظر می‌گیریم.  علاوه بر این، شناسایی موضوعات و چشم‌اندازهای کلیدی پژوهشی از جمله نمایش موثر داده‌ها، طراحی الگوریتم جدید، یادگیری فراپارامتر مبتنی بر داده و بهینه‌سازی مدل، یکپارچه‌سازی دانش حوزه، تطبیق دستگاه‌های با محدودیت منابع و غیره از اهداف کلیدی این مطالعه است.  ، که می تواند منجر به “مدل سازی DL نسل آینده” شود.  بنابراین هدف این مقاله کمک به افرادی در دانشگاه و صنعت به عنوان یک راهنمای مرجع است که می‌خواهند سیستم‌های هوشمند و هوشمند مبتنی بر داده‌ها را بر اساس تکنیک‌های DL تحقیق و توسعه دهند.

سهم کلی این مقاله به شرح زیر خلاصه می شود:

این مقاله بر جنبه‌های مختلف مدل‌سازی یادگیری عمیق تمرکز می‌کند، به عنوان مثال، قابلیت‌های یادگیری تکنیک‌های DL در ابعاد مختلف مانند وظایف تحت نظارت یا بدون نظارت، برای عملکرد خودکار و هوشمندانه، که می‌تواند به عنوان فناوری اصلی انقلاب صنعتی چهارم امروزی بازی کند.  (صنعت 4.0).

ما انواع تکنیک های برجسته DL را بررسی می کنیم و با در نظر گرفتن تغییرات در وظایف یادگیری عمیق و نحوه استفاده از آنها برای اهداف مختلف، یک طبقه بندی ارائه می کنیم.  در طبقه‌بندی خود، ما تکنیک‌ها را به سه دسته اصلی مانند شبکه‌های عمیق برای یادگیری نظارت شده یا تبعیض‌آمیز، یادگیری بدون نظارت یا مولد، و همچنین شبکه‌های عمیق برای یادگیری ترکیبی و سایر موارد مرتبط تقسیم می‌کنیم.

ما چندین حوزه کاربردی بالقوه یادگیری عمیق در دنیای واقعی را خلاصه کرده ایم تا به توسعه دهندگان و همچنین محققان در گسترش دیدگاه های خود در مورد تکنیک های DL کمک کنیم.  دسته‌های مختلف تکنیک‌های DL که در طبقه‌بندی ما برجسته شده‌اند، می‌توانند برای حل مسائل مختلف بر این اساس استفاده شوند.

در نهایت، ما به ده جنبه بالقوه با جهت‌گیری‌های تحقیقاتی برای مدل‌سازی DL نسل آینده از نظر انجام تحقیقات آینده و توسعه سیستم اشاره می‌کنیم.

این مقاله به شرح زیر سازماندهی شده است.  بخش «چرا یادگیری عمیق در تحقیقات و کاربردهای امروزی؟»  انگیزه می دهد که چرا یادگیری عمیق برای ساخت سیستم های هوشمند داده محور مهم است.  در بخش «تکنیک‌ها و کاربردهای یادگیری عمیق»، طبقه‌بندی DL خود را با در نظر گرفتن تغییرات وظایف یادگیری عمیق و نحوه استفاده از آن‌ها در حل مسائل دنیای واقعی ارائه می‌کنیم و به طور خلاصه درباره تکنیک‌ها با خلاصه کردن حوزه‌های کاربردی بالقوه بحث می‌کنیم.  در بخش «جهت‌های تحقیق و جنبه‌های آینده»، موضوعات تحقیقاتی مختلف مدل‌سازی مبتنی بر یادگیری عمیق را مورد بحث قرار می‌دهیم و موضوعات امیدوارکننده برای تحقیقات آینده را در محدوده مطالعه خود برجسته می‌کنیم.  در نهایت، بخش «نظرات پایانی» این مقاله را به پایان می‌رساند.

 چرا یادگیری عمیق در تحقیقات و کاربردهای امروزی؟

تمرکز اصلی انقلاب صنعتی چهارم امروز (صنعت 4.0) معمولاً اتوماسیون مبتنی بر فناوری، سیستم‌های هوشمند و هوشمند، در حوزه‌های کاربردی مختلف از جمله مراقبت‌های بهداشتی هوشمند، هوش تجاری، شهرهای هوشمند، هوش امنیت سایبری و بسیاری موارد دیگر است.  رویکردهای یادگیری عمیق به طور چشمگیری از نظر عملکرد در طیف گسترده ای از کاربردها با در نظر گرفتن فناوری های امنیتی، به ویژه به عنوان یک راه حل عالی برای کشف معماری پیچیده در داده های با ابعاد بالا، رشد کرده اند.  بنابراین، تکنیک‌های DL می‌توانند نقش کلیدی در ساختن سیستم‌های مبتنی بر داده‌های هوشمند با توجه به نیازهای امروزی داشته باشند، زیرا قابلیت‌های یادگیری بسیار خوبی از داده‌های تاریخی دارند.  در نتیجه، DL می تواند جهان و همچنین زندگی روزمره انسان ها را از طریق قدرت اتوماسیون خود و یادگیری از تجربه تغییر دهد.  بنابراین، فناوری DL با هوش مصنوعی [103]، یادگیری ماشین  و علم داده با تجزیه و تحلیل پیشرفته [95] مرتبط است که حوزه‌های شناخته شده در علوم رایانه، به‌ویژه، محاسبات هوشمند امروزی هستند.  در ادامه، ابتدا در مورد جایگاه یادگیری عمیق در هوش مصنوعی یا نحوه ارتباط فناوری DL با این حوزه‌های محاسباتی بحث می‌کنیم.

جایگاه یادگیری عمیق در هوش مصنوعی

امروزه هوش مصنوعی (AI)، یادگیری ماشینی (ML) و یادگیری عمیق (DL) سه اصطلاح رایجی هستند که گاهی اوقات به جای یکدیگر برای توصیف سیستم‌ها یا نرم‌افزارهایی استفاده می‌شوند که هوشمندانه رفتار می‌کنند. در شکل 2، موقعیت یادگیری عمیق را در مقایسه با یادگیری ماشین و هوش مصنوعی نشان می‌دهیم.  مطابق شکل 2، DL بخشی از ML و همچنین بخشی از هوش مصنوعی منطقه وسیع است.  به طور کلی، هوش مصنوعی رفتار و هوش انسان را در ماشین‌ها یا سیستم‌ها ترکیب می‌کند، در حالی که ML روشی برای یادگیری از داده‌ها یا تجربیات است که ساخت مدل تحلیلی را خودکار می‌کند.  DL همچنین روش های یادگیری از داده ها را نشان می دهد که در آن محاسبات از طریق شبکه های عصبی چند لایه و پردازش انجام می شود.  اصطلاح “عمیق” در روش یادگیری عمیق به مفهوم سطوح یا مراحل متعددی اشاره دارد که از طریق آنها داده ها برای ساخت یک مدل داده محور پردازش می شوند.

تصویری از موقعیت یادگیری عمیق (DL)، در مقایسه با یادگیری ماشینی (ML) و هوش مصنوعی (AI)

بنابراین می‌توان DL را یکی از فناوری‌های اصلی هوش مصنوعی، مرزی برای هوش مصنوعی دانست که می‌توان از آن برای ساخت سیستم‌های هوشمند و اتوماسیون استفاده کرد.  مهمتر از آن، هوش مصنوعی را به سطح جدیدی سوق می دهد که “هوش مصنوعی هوشمندتر” نامیده می شود.  از آنجایی که DL قادر به یادگیری از داده ها هستند، رابطه قوی یادگیری عمیق با “علم داده”  نیز وجود دارد.  به طور معمول، علم داده کل فرآیند یافتن معنا یا بینش در داده‌ها را در یک حوزه مشکل خاص نشان می‌دهد، جایی که روش‌های DL می‌توانند نقش کلیدی برای تجزیه و تحلیل پیشرفته و تصمیم‌گیری هوشمند داشته باشند. به طور کلی، می‌توان نتیجه گرفت که فناوری DL قادر است دنیای کنونی را تغییر دهد، به‌ویژه، از نظر یک موتور محاسباتی قدرتمند و بر این اساس به اتوماسیون مبتنی بر فناوری، سیستم‌های هوشمند و هوشمند کمک می‌کند و هدف صنعت 4.0 را برآورده می‌کند.

 آشنایی با اشکال مختلف داده ها

همانطور که مدل‌های DL از داده‌ها یاد می‌گیرند، درک عمیق و نمایش داده‌ها برای ایجاد یک سیستم هوشمند مبتنی بر داده در یک منطقه کاربردی خاص مهم است.  در دنیای واقعی، داده‌ها می‌توانند به اشکال مختلفی باشند، که معمولاً می‌توان آن‌ها را برای مدل‌سازی یادگیری عمیق به صورت زیر نشان داد:

داده های متوالی داده های متوالی هر نوع داده ای است که ترتیب آن مهم است، یعنی مجموعه ای از توالی ها.  در حین ساخت مدل باید به صراحت ماهیت ترتیبی داده های ورودی را در نظر بگیرد.  جریان های متن، قطعات صوتی، کلیپ های ویدئویی، داده های سری زمانی، نمونه هایی از داده های متوالی هستند.

تصویر یا داده‌های دوبعدی یک تصویر دیجیتال از یک ماتریس تشکیل شده است که آرایه‌ای مستطیلی از اعداد، نمادها یا عبارات است که در ردیف‌ها و ستون‌ها در آرایه‌ای دوبعدی از اعداد مرتب شده‌اند.  ماتریس، پیکسل ها، وکسل ها و عمق بیت چهار ویژگی اساسی یا پارامتر اساسی یک تصویر دیجیتال هستند.

داده های جدولی یک مجموعه داده جدولی عمدتاً از ردیف ها و ستون ها تشکیل شده است.  بنابراین مجموعه داده های جدولی حاوی داده ها در قالب ستونی مانند جدول پایگاه داده هستند.  هر ستون (فیلد) باید یک نام داشته باشد و هر ستون فقط ممکن است حاوی داده هایی از نوع تعریف شده باشد.  به طور کلی، چیدمان منطقی و سیستماتیک داده ها در قالب ردیف ها و ستون هایی است که بر اساس ویژگی ها یا ویژگی های داده است.  مدل‌های یادگیری عمیق می‌توانند به طور موثر بر روی داده‌های جدولی بیاموزند و به ما امکان می‌دهند سیستم‌های هوشمند مبتنی بر داده بسازیم.

فرم‌های داده‌ای که در بالا بحث شد در حوزه‌های کاربردی دنیای واقعی یادگیری عمیق رایج هستند.  دسته‌های مختلف تکنیک‌های DL بسته به ماهیت و ویژگی‌های داده‌ها، به طور خلاصه در بخش «تکنیک‌ها و کاربردهای یادگیری عمیق» با ارائه طبقه‌بندی مورد بحث قرار گرفته‌اند، عملکرد متفاوتی دارند.  با این حال، در بسیاری از حوزه‌های کاربردی دنیای واقعی، تکنیک‌های استاندارد یادگیری ماشین، به‌ویژه تکنیک‌های مبتنی بر قوانین منطقی یا مبتنی بر درخت بسته به ماهیت برنامه، عملکرد قابل‌توجهی دارند.  شکل 3 همچنین مقایسه عملکرد مدل‌سازی DL و ML را با در نظر گرفتن مقدار داده نشان می‌دهد.  در ادامه، با توجه به تمرکز اصلی ما در این مقاله، چندین مورد را که یادگیری عمیق برای حل مسائل دنیای واقعی مفید است، برجسته می‌کنیم.

 ویژگی ها و وابستگی های DL

یک مدل DL معمولاً مراحل پردازشی مشابه مدل‌سازی یادگیری ماشین را دنبال می‌کند.  در شکل 4، ما یک گردش کار یادگیری عمیق را برای حل مشکلات دنیای واقعی نشان داده‌ایم که شامل سه مرحله پردازش، مانند درک داده‌ها و پیش‌پردازش، ساخت مدل DL و آموزش، و اعتبارسنجی و تفسیر است.  با این حال، برخلاف مدل‌سازی ML [98، 108]، استخراج ویژگی در مدل DL به‌جای دستی، خودکار است.  K-نزدیک ترین همسایه، ماشین های بردار پشتیبان، درخت تصمیم، جنگل تصادفی، بیز ساده، رگرسیون خطی، قوانین ارتباط، خوشه بندی k-means، نمونه هایی از تکنیک های یادگیری ماشینی هستند که معمولا در حوزه های کاربردی مختلف استفاده می شوند. از سوی دیگر، مدل DL شامل شبکه عصبی کانولوشن، شبکه عصبی تکراری، رمزگذار خودکار، شبکه باور عمیق و بسیاری موارد دیگر است که به طور خلاصه با حوزه‌های کاربردی بالقوه آنها در بخش 3 مورد بحث قرار گرفته است. در ادامه، ویژگی‌های کلیدی و وابستگی‌های آن را مورد بحث قرار می‌دهیم.  تکنیک‌های DL، که قبل از شروع کار بر روی مدل‌سازی DL برای کاربردهای دنیای واقعی باید در نظر گرفته شوند.

تصویری از مقایسه عملکرد بین یادگیری عمیق (DL) و سایر الگوریتم‌های یادگیری ماشین (ML)، که در آن مدل‌سازی DL از مقادیر زیادی داده می‌تواند عملکرد را افزایش دهد.

وابستگی های داده یادگیری عمیق معمولاً به مقدار زیادی داده برای ساختن یک مدل داده محور برای یک حوزه مشکل خاص وابسته است.  دلیل آن این است که وقتی حجم داده کم است، الگوریتم های یادگیری عمیق اغلب ضعیف عمل می کنند.با این حال، در چنین شرایطی، اگر از قوانین مشخص شده استفاده شود، عملکرد الگوریتم‌های استاندارد یادگیری ماشین بهبود می‌یابد.

وابستگی‌های سخت‌افزاری الگوریتم‌های DL به عملیات محاسباتی بزرگ در حین آموزش مدلی با مجموعه داده‌های بزرگ نیاز دارند.  از آنجایی که هرچه محاسبات بزرگتر باشد، مزیت یک GPU نسبت به CPU بیشتر است، از GPU بیشتر برای بهینه سازی کارآمد عملیات استفاده می شود.  بنابراین، برای کار درست با آموزش یادگیری عمیق، سخت افزار GPU ضروری است.  بنابراین، DL بیشتر از روش‌های یادگیری ماشین استاندارد به ماشین‌های با کارایی بالا با GPU متکی است.

فرآیند مهندسی ویژگی مهندسی ویژگی فرآیند استخراج ویژگی‌ها (ویژگی‌ها، ویژگی‌ها و ویژگی‌ها) از داده‌های خام با استفاده از دانش دامنه است.  یک تمایز اساسی بین DL و سایر تکنیک های یادگیری ماشینی، تلاش برای استخراج ویژگی های سطح بالا به طور مستقیم از داده ها است .  بنابراین، DL زمان و تلاش مورد نیاز برای ساخت یک استخراج کننده ویژگی برای هر مشکل را کاهش می دهد.

آموزش و زمان اجرای مدل به طور کلی، آموزش یک الگوریتم یادگیری عمیق به دلیل تعداد زیادی پارامتر در الگوریتم DL زمان زیادی می برد.  بنابراین، فرآیند آموزش مدل بیشتر طول می کشد.  به عنوان مثال، مدل‌های DL می‌توانند بیش از یک هفته طول بکشد تا یک جلسه آموزشی را کامل کنند، در حالی که آموزش با الگوریتم‌های ML زمان نسبتا کمی دارد، فقط چند ثانیه تا ساعت. در طول آزمایش، الگوریتم‌های یادگیری عمیق در مقایسه با روش‌های خاص یادگیری ماشین، زمان بسیار کمی برای اجرا می‌برند .

درک جعبه سیاه و تفسیرپذیری تفسیرپذیری عامل مهمی در مقایسه DL با ML است.  توضیح اینکه چگونه یک نتیجه یادگیری عمیق به دست آمد، یعنی “جعبه سیاه” دشوار است.  از سوی دیگر، الگوریتم‌های یادگیری ماشینی، به‌ویژه تکنیک‌های یادگیری ماشین مبتنی بر قانون قوانین منطقی صریح (IF-THEN) را برای تصمیم‌گیری ارائه می‌کنند که به راحتی برای انسان قابل تفسیر است.  به عنوان مثال، در کارهای قبلی خود، چندین تکنیک مبتنی بر قوانین یادگیری ماشینی را ارائه کرده‌ایم، که قوانین استخراج‌شده برای انسان قابل درک هستند و تفسیر، به‌روزرسانی یا حذف آن‌ها با توجه به برنامه‌های هدف آسان‌تر است.

مهم‌ترین تمایز بین یادگیری عمیق و یادگیری ماشینی معمولی این است که وقتی داده‌ها به صورت تصاعدی رشد می‌کنند، چقدر خوب عمل می‌کند.  تصویری از مقایسه عملکرد بین الگوریتم‌های DL و استاندارد ML در شکل 3 نشان داده شده است، جایی که مدل‌سازی DL می‌تواند عملکرد را با مقدار داده افزایش دهد.  بنابراین، مدل‌سازی DL به دلیل توانایی آن در پردازش مقادیر زیادی از ویژگی‌ها برای ساخت یک مدل داده محور مؤثر، هنگام برخورد با مقدار زیادی داده بسیار مفید است.  از نظر توسعه و آموزش مدل‌های DL، بر عملیات ماتریس موازی و تانسور و همچنین شیب محاسباتی و بهینه‌سازی متکی است.  چندین کتابخانه و منابع DL  مانند PyTorch  (با یک API سطح بالا به نام Lightning) و TensorFlow (که Keras را به عنوان یک API سطح بالا نیز ارائه می دهد) این ابزارهای اصلی را ارائه می دهند که شامل بسیاری از پیش از  مدل های آموزش دیده، و همچنین بسیاری از توابع ضروری دیگر برای پیاده سازی و ساخت مدل DL.

یک گردش کار معمولی DL برای حل مشکلات دنیای واقعی، که شامل سه مرحله متوالی (i) درک داده ها و پیش پردازش (ii) ساخت و آموزش مدل DL (iii) اعتبار سنجی و تفسیر است.

تکنیک ها و کاربردهای یادگیری عمیق

در این بخش، انواع تکنیک‌های شبکه عصبی عمیق را مرور می‌کنیم که معمولاً چندین لایه از مراحل پردازش اطلاعات را در ساختارهای سلسله مراتبی برای یادگیری در نظر می‌گیرند.  یک شبکه عصبی عمیق معمولی شامل چندین لایه پنهان از جمله لایه های ورودی و خروجی است.  شکل 5 ساختار کلی یک شبکه عصبی عمیق را نشان می دهد (hiddenlayer=N

و N ≥

مقایسه با یک شبکه کم عمق (2)hiddenlayer=1

ما همچنین طبقه بندی خود را بر روی تکنیک های DL بر اساس نحوه استفاده از آنها برای حل مسائل مختلف در این بخش ارائه می دهیم.  با این حال، قبل از بررسی جزئیات تکنیک‌های DL، مرور انواع مختلفی از وظایف یادگیری مفید است، مانند (i) نظارت شده: رویکرد وظیفه محور که از داده‌های آموزشی برچسب‌گذاری شده استفاده می‌کند، (ب) بدون نظارت: یک فرآیند مبتنی بر داده که تجزیه و تحلیل می‌کند.  مجموعه داده های بدون برچسب، (iii) نیمه نظارت شده: ترکیبی از هر دو روش نظارت شده و بدون نظارت، و (IV) تقویت: یک رویکرد مبتنی بر محیط، که به طور خلاصه در مقاله قبلی ما مورد بحث قرار گرفت. بنابراین، برای ارائه طبقه‌بندی خود، تکنیک‌های DL را به طور کلی به سه دسته عمده تقسیم می‌کنیم: (1) شبکه‌های عمیق برای یادگیری تحت نظارت یا تبعیض‌آمیز.  (2) شبکه های عمیق برای یادگیری بدون نظارت یا مولد.  و (ii) شبکه‌های عمیق برای ترکیب یادگیری ترکیبی و سایر موارد مرتبط، همانطور که در شکل 6 نشان داده شده است. در ادامه، به طور خلاصه هر یک از این تکنیک‌ها را که می‌توانند برای حل مسائل دنیای واقعی در حوزه‌های کاربردی مختلف با توجه به آن‌ها مورد استفاده قرار دهند، مورد بحث قرار می‌دهیم.

قابلیت های یادگیری

یک معماری کلی از یک شبکه کم عمق با یک لایه پنهان و ب یک شبکه عصبی عمیق با چندین لایه پنهان

شبکه های عمیق برای یادگیری تحت نظارت یا تبعیض آمیز

این دسته از تکنیک های DL برای ارائه یک عملکرد متمایز در برنامه های کاربردی نظارت شده یا طبقه بندی استفاده می شود.  معماری‌های عمیق متمایز معمولاً برای دادن قدرت تمایز برای طبقه‌بندی الگوها با توصیف توزیع‌های عقبی کلاس‌ها مشروط به داده‌های قابل مشاهده طراحی می‌شوند [21].  معماری‌های متمایز عمدتاً شامل پرسپترون چندلایه (MLP)، شبکه‌های عصبی کانولوشنال (CNN یا ConvNet)، شبکه‌های عصبی بازگشتی (RNN)، همراه با انواع آن‌ها هستند.  در ادامه به اختصار به این تکنیک ها می پردازیم.

 پرسپترون چند لایه (MLP)

پرسپترون چند لایه (MLP)، یک رویکرد یادگیری نظارت شده ، یک نوع شبکه عصبی مصنوعی پیشخور (ANN) است.  همچنین به عنوان معماری پایه شبکه های عصبی عمیق (DNN) یا یادگیری عمیق شناخته می شود.  یک MLP معمولی یک شبکه کاملا متصل است که شامل یک لایه ورودی است که داده های ورودی را دریافت می کند، یک لایه خروجی که در مورد سیگنال ورودی تصمیم یا پیش بینی می کند و یک یا چند لایه پنهان بین این دو که به عنوان موتور محاسباتی شبکه در نظر گرفته می شود. خروجی یک شبکه MLP با استفاده از انواع توابع فعال‌سازی، که به عنوان توابع انتقال نیز شناخته می‌شوند، تعیین می‌شود، مانند ReLU (واحد خطی اصلاح‌شده)، Tanh، Sigmoid، و Softmax .  برای آموزش MLP از پرکاربردترین الگوریتم “Backpropagation” [36]، یک تکنیک یادگیری نظارت شده استفاده می شود که به عنوان اساسی ترین بلوک ساختمانی یک شبکه عصبی نیز شناخته می شود.  در طول فرآیند آموزش، رویکردهای بهینه‌سازی مختلفی مانند نزول گرادیان تصادفی (SGD)، حافظه محدود BFGS (L-BFGS)، و برآورد لحظه تطبیقی ​​(آدام) اعمال می‌شود.  MLP نیاز به تنظیم چندین ابرپارامتر مانند تعداد لایه‌های پنهان، نورون‌ها و تکرار دارد که می‌تواند حل یک مدل پیچیده را از نظر محاسباتی گران کند.  با این حال، از طریق تناسب جزئی، MLP مزیت یادگیری مدل‌های غیرخطی را در زمان واقعی یا آنلاین ارائه می‌دهد.

شبکه عصبی کانولوشن (CNN یا ConvNet)

شبکه عصبی کانولوشنال (CNN یا ConvNet) یک معماری یادگیری عمیق متمایز محبوب است که بدون نیاز به استخراج ویژگی های انسانی، مستقیماً از ورودی یاد می گیرد.  شکل 7 نمونه‌ای از CNN را نشان می‌دهد که شامل چند کانولوشن و لایه‌های ادغام می‌شود.  در نتیجه، CNN طراحی ANN سنتی مانند شبکه های منظم MLP را بهبود می بخشد.  هر لایه در CNN پارامترهای بهینه را برای خروجی معنی دار در نظر می گیرد و همچنین پیچیدگی مدل را کاهش می دهد.  سی‌ان‌ان همچنین از یک «ترک خروج»  استفاده می‌کند که می‌تواند با مشکل برازش بیش از حد، که ممکن است در یک شبکه سنتی رخ دهد، مقابله کند.

نمونه ای از یک شبکه عصبی کانولوشن (CNN یا ConvNet) شامل چندین لایه کانولوشن و ادغام

CNN ها به طور خاص برای مقابله با انواع اشکال دو بعدی در نظر گرفته شده اند و بنابراین به طور گسترده در تشخیص بصری، تجزیه و تحلیل تصویر پزشکی، تقسیم بندی تصویر، پردازش زبان طبیعی و بسیاری موارد دیگر استفاده می شوند ،  قابلیت کشف خودکار ویژگی های ضروری از ورودی بدون نیاز به دخالت انسان، آن را قدرتمندتر از یک شبکه سنتی می کند.  انواع مختلفی از CNN در این منطقه وجود دارد که شامل گروه هندسه بصری (VGG) ، AlexNet ، Xception، Inception، ResNet و غیره است که می تواند در کاربردهای مختلف استفاده شود.  دامنه ها با توجه به قابلیت های یادگیری آنها.

 شبکه عصبی بازگشتی (RNN) و انواع آن

شبکه عصبی بازگشتی (RNN) یکی دیگر از شبکه های عصبی محبوب است که از داده های متوالی یا سری زمانی استفاده می کند و خروجی مرحله قبل را به عنوان ورودی به مرحله فعلی تغذیه می کند ،مانند پیشخور و سی ان ان، شبکه های تکراری از ورودی های آموزشی یاد می گیرند، با این حال، با «حافظه» خود تمایز می یابند، که به آنها اجازه می دهد از طریق استفاده از اطلاعات ورودی های قبلی، بر ورودی و خروجی جریان تأثیر بگذارند.  بر خلاف DNN معمولی، که فرض می‌کند ورودی‌ها و خروجی‌ها مستقل از یکدیگر هستند، خروجی RNN به عناصر قبلی در توالی متکی است.  با این حال، شبکه‌های تکرارشونده استاندارد مشکل شیب ناپدید شدن را دارند که یادگیری توالی داده‌های طولانی را به چالش می‌کشد.  در ادامه، چندین نوع محبوب شبکه تکراری را مورد بحث قرار می‌دهیم که مشکلات را به حداقل می‌رساند و در بسیاری از حوزه‌های کاربردی دنیای واقعی عملکرد خوبی دارد.

حافظه کوتاه مدت بلند مدت (LSTM) این شکل محبوب معماری RNN است که از واحدهای ویژه برای مقابله با مشکل گرادیان ناپدید کننده استفاده می کند که توسط Hochreiter و همکارانش معرفی شد.  .  یک سلول حافظه در یک واحد LSTM می تواند داده ها را برای دوره های طولانی ذخیره کند و جریان اطلاعات به داخل و خارج از سلول توسط سه دروازه مدیریت می شود.  به عنوان مثال، «دروازه فراموشی» تعیین می‌کند که چه اطلاعاتی از سلول حالت قبلی به خاطر سپرده شود و چه اطلاعاتی حذف شوند که دیگر مفید نیستند، در حالی که «دروازه ورودی» تعیین می‌کند که کدام اطلاعات باید وارد وضعیت سلول و «دروازه خروجی» شوند.  ‘ خروجی ها را تعیین و کنترل می کند.  از آنجایی که مسائل مربوط به آموزش یک شبکه تکراری را حل می کند، شبکه LSTM یکی از موفق ترین RNN در نظر گرفته می شود.

RNN/LSTM دوطرفه RNNهای دوطرفه دو لایه پنهان را که در جهت مخالف به یک خروجی واحد اجرا می‌شوند، متصل می‌کنند و به آن‌ها اجازه می‌دهند داده‌های گذشته و آینده را بپذیرند.  RNN های دو طرفه، بر خلاف شبکه های تکراری سنتی، برای پیش بینی جهت های زمانی مثبت و منفی به طور همزمان آموزش داده شده اند.  یک LSTM دو جهته، که اغلب به عنوان BiLSTM شناخته می شود، توسعه ای از استاندارد LSTM است که می تواند عملکرد مدل را در مسائل طبقه بندی دنباله افزایش دهد.  این یک مدل پردازش توالی است که از دو LSTM تشکیل شده است: یکی ورودی را به جلو می برد و دیگری آن را به عقب می برد.  LSTM دو طرفه به طور خاص یک انتخاب محبوب در وظایف پردازش زبان طبیعی است.

واحدهای بازگشتی دروازه‌ای (GRU) یک واحد بازگشتی دردار (GRU) یکی دیگر از انواع محبوب شبکه بازگشتی است که از روش‌های دروازه‌ای برای کنترل و مدیریت جریان اطلاعات بین سلول‌ها در شبکه عصبی استفاده می‌کند که توسط Cho و همکارانش معرفی شد.  [16].  GRU مانند یک LSTM است، با این حال، پارامترهای کمتری دارد، زیرا دارای یک گیت تنظیم مجدد و یک گیت به روز رسانی است اما فاقد گیت خروجی است، همانطور که در شکل 8 نشان داده شده است. بنابراین، تفاوت اصلی بین GRU و LSTM این است که  GRU دارای دو گیت (گیت های بازنشانی و به روز رسانی) است در حالی که یک LSTM دارای سه گیت (یعنی گیت های ورودی، خروجی و فراموشی) است.  ساختار GRU آن را قادر می‌سازد تا وابستگی‌ها را از توالی‌های بزرگی از داده‌ها به شیوه‌ای تطبیقی، بدون حذف اطلاعات قسمت‌های قبلی دنباله، بگیرد.  بنابراین GRU یک نوع کمی ساده تر است که اغلب عملکرد قابل مقایسه ای را ارائه می دهد و به طور قابل توجهی برای محاسبه سریعتر است.  اگرچه نشان داده شده است که GRUها عملکرد بهتری را روی مجموعه داده‌های کوچکتر و کم‌تکرار نشان می‌دهند ، هر دو نوع RNN کارایی خود را در حین تولید نتیجه ثابت کرده‌اند.

ساختار اصلی یک سلول واحد بازگشتی دروازه‌ای (GRU) متشکل از گیت‌های بازنشانی و به‌روزرسانی

به طور کلی، ویژگی اساسی یک شبکه تکراری این است که حداقل یک اتصال بازخورد دارد، که فعال‌سازی را قادر می‌سازد تا حلقه شود.  این به شبکه‌ها اجازه می‌دهد تا پردازش زمانی و یادگیری توالی انجام دهند، مانند شناسایی یا بازتولید توالی، ارتباط یا پیش‌بینی زمانی، و غیره.  تشخیص گفتار، و بسیاری دیگر.

 شبکه های عمیق برای یادگیری مولد یا بدون نظارت

این دسته از تکنیک‌های DL معمولاً برای مشخص کردن ویژگی‌ها یا ویژگی‌های همبستگی مرتبه بالا برای تجزیه و تحلیل یا سنتز الگو، و همچنین توزیع‌های آماری مشترک داده‌های مرئی و کلاس‌های مرتبط با آنها استفاده می‌شوند.  ایده کلیدی معماری های عمیق مولد این است که در طول فرآیند یادگیری، اطلاعات نظارتی دقیق مانند برچسب های کلاس هدف نگران کننده نیست.  در نتیجه، روش‌های زیر این دسته اساساً برای یادگیری بدون نظارت استفاده می‌شوند، زیرا روش‌ها معمولاً برای یادگیری ویژگی یا تولید و نمایش داده استفاده می‌شوند.  بنابراین مدل سازی مولد می تواند به عنوان پیش پردازش برای وظایف یادگیری تحت نظارت نیز استفاده شود، که دقت مدل متمایز را تضمین می کند.  تکنیک های رایج شبکه عصبی عمیق برای یادگیری بدون نظارت یا مولد عبارتند از: شبکه متخاصم مولد (GAN)، رمزگذار خودکار (AE)، ماشین بولتزمن محدود (RBM)، نقشه خودسازماندهی (SOM) و شبکه باور عمیق (DBN) به همراه انواع آنها.  .

 شبکه متخاصم مولد (GAN)

یک شبکه متخاصم مولد (GAN)، طراحی شده توسط Ian Goodfellow، نوعی از معماری شبکه عصبی برای مدل‌سازی مولد برای ایجاد نمونه‌های قابل قبول جدید در صورت تقاضا است.  این شامل کشف و یادگیری خودکار قوانین یا الگوها در داده‌های ورودی است تا بتوان از مدل برای تولید یا خروجی نمونه‌های جدید از مجموعه داده اصلی استفاده کرد.  همانطور که در شکل 9 نشان داده شده است، GAN ها از دو شبکه عصبی تشکیل شده اند، یک مولد G که داده های جدیدی با ویژگی های مشابه داده های اصلی ایجاد می کند، و یک متمایز کننده D که احتمال استخراج نمونه بعدی از داده های واقعی را به جای داده ها پیش بینی می کند.  ارائه شده توسط ژنراتور  بنابراین در مدل سازی GAN، هم مولد و هم تفکیک کننده برای رقابت با یکدیگر آموزش می بینند.  در حالی که مولد سعی می کند با ایجاد داده های واقعی تر، متمایز کننده را فریب داده و گیج کند، متمایز کننده سعی می کند داده های واقعی را از داده های جعلی تولید شده توسط G متمایز کند.

ساختار شماتیک یک شبکه متخاصم مولد استاندارد (GAN)

به طور کلی، استقرار شبکه GAN برای وظایف یادگیری بدون نظارت طراحی شده است، اما همچنین ثابت کرده است که راه حل بهتری برای یادگیری نیمه نظارتی و تقویتی نیز بسته به وظیفه است.  GAN ها همچنین در تحقیقات پیشرفته یادگیری انتقال برای اعمال تراز فضای ویژگی پنهان استفاده می شوند [66].  مدل‌های معکوس، مانند GAN دو جهته (BiGAN) [25] همچنین می‌توانند یک نقشه‌برداری از داده‌ها به فضای پنهان را بیاموزند، مشابه نحوه یادگیری مدل استاندارد GAN از یک فضای پنهان به توزیع داده.  حوزه های کاربردی بالقوه شبکه های GAN عبارتند از: مراقبت های بهداشتی، تجزیه و تحلیل تصویر، افزایش داده ها، تولید ویدئو، تولید صدا، بیماری های همه گیر، کنترل ترافیک، امنیت سایبری و بسیاری موارد دیگر که به سرعت در حال افزایش هستند.  به طور کلی، GAN ها خود را به عنوان یک دامنه جامع از گسترش مستقل داده ها و به عنوان راه حلی برای مشکلاتی که نیاز به راه حل مولد دارند، تثبیت کرده اند.

 رمزگذار خودکار (AE) و انواع آن

رمزگذار خودکار (AE) یک تکنیک یادگیری بدون نظارت محبوب است که در آن از شبکه های عصبی برای یادگیری بازنمایی استفاده می شود.  معمولاً از رمزگذارهای خودکار برای کار با داده های با ابعاد بالا استفاده می شود و کاهش ابعاد نحوه نمایش مجموعه ای از داده ها را توضیح می دهد.  رمزگذار، کد و رمزگشا سه بخش رمزگذار خودکار هستند.  رمزگذار ورودی را فشرده می کند و کدی را تولید می کند که رمزگشا از آن برای بازسازی ورودی استفاده می کند.  AE ها اخیراً برای یادگیری مدل های داده های تولیدی استفاده شده اند .رمزگذار خودکار به طور گسترده در بسیاری از کارهای یادگیری بدون نظارت استفاده می شود، به عنوان مثال، کاهش ابعاد، استخراج ویژگی، کدگذاری کارآمد، مدل سازی تولیدی، حذف نویز، تشخیص ناهنجاری یا پرت و غیره.  تجزیه و تحلیل مؤلفه اصلی (PCA) ، که همچنین برای کاهش ابعاد مجموعه داده های عظیم استفاده می شود، اساساً شبیه به یک AE تک لایه با یک تابع فعال سازی خطی است.  رمزگذارهای خودکار منظم مانند پراکنده، حذف نویز و انقباضی برای یادگیری بازنمایی برای کارهای طبقه بندی بعدی مفید هستند ، در حالی که رمزگذارهای خودکار متغیر می توانند به عنوان مدل های تولیدی استفاده شوند  که در زیر مورد بحث قرار گرفته است.

رمزگذار خودکار پراکنده (SAE) یک رمزگذار خودکار پراکنده  دارای جریمه پراکندگی در لایه کدگذاری به عنوان بخشی از نیاز آموزشی آن است.  SAEها ممکن است تعداد واحدهای پنهان بیشتری نسبت به ورودی داشته باشند، اما تنها تعداد کمی از واحدهای پنهان مجاز به فعال بودن همزمان هستند که منجر به یک مدل پراکنده می شود.  شکل 10 یک ساختار شماتیک از یک رمزگذار خودکار پراکنده با چندین واحد فعال در لایه پنهان را نشان می دهد.  بنابراین این مدل موظف است به ویژگی های آماری منحصر به فرد داده های آموزشی به دنبال محدودیت های خود پاسخ دهد.

رمزگذار خودکار حذف نویز (DAE) یک رمزگذار خودکار حذف نویز گونه‌ای از رمزگذار خودکار پایه است که تلاش می‌کند با تغییر معیار بازسازی، نمایش را بهبود بخشد (برای استخراج ویژگی‌های مفید) و بنابراین خطر یادگیری تابع هویت را کاهش می‌دهد.  به عبارت دیگر، یک نقطه داده خراب را به عنوان ورودی دریافت می‌کند و آموزش داده می‌شود تا ورودی بدون تحریف اصلی را به‌عنوان خروجی از طریق به حداقل رساندن میانگین خطای بازسازی در داده‌های آموزشی، یعنی پاک کردن ورودی خراب یا حذف نویز، بازیابی کند.  بنابراین، در زمینه محاسبات، DAE ها را می توان به عنوان فیلترهای بسیار قدرتمندی در نظر گرفت که می توان از آنها برای پیش پردازش خودکار استفاده کرد.  برای مثال، یک رمزگذار خودکار حذف نویز، می‌تواند برای پیش پردازش خودکار یک تصویر استفاده شود، در نتیجه کیفیت آن برای دقت تشخیص افزایش می‌یابد.

رمزگذار خودکار قراردادی (CAE) ایده پشت رمزگذار خودکار انقباضی، پیشنهاد شده توسط Rifai و همکاران.  ، این است که رمزگذارهای خودکار را از تغییرات کوچک در مجموعه داده آموزشی قوی کند.  در تابع هدف خود، یک CAE شامل یک تنظیم کننده صریح است که مدل را مجبور می کند تا رمزگذاری را یاد بگیرد که نسبت به تغییرات کوچک در مقادیر ورودی مقاوم است.  در نتیجه، حساسیت نمایش آموخته شده به ورودی آموزش کاهش می یابد.  در حالی که DAE ها استحکام بازسازی را همانطور که در بالا مورد بحث قرار گرفت تشویق می کنند، CAE ها استحکام بازنمایی را تشویق می کنند.

رمزگذار خودکار متغیر (VAE) یک رمزگذار خودکار متغیر دارای ویژگی اساساً منحصربه‌فردی است که آن را از رمزگذار خودکار کلاسیک مورد بحث در بالا متمایز می‌کند، که این موضوع را برای مدل‌سازی تولیدی بسیار مؤثر می‌سازد.  VAE ها، بر خلاف رمزگذارهای خودکار سنتی که ورودی را بر روی یک بردار نهفته ترسیم می کنند، داده های ورودی را به پارامترهای یک توزیع احتمال، مانند میانگین و واریانس یک توزیع گاوسی ترسیم می کنند.  یک VAE فرض می‌کند که داده‌های منبع دارای یک توزیع احتمال اساسی است و سپس سعی می‌کند پارامترهای توزیع را کشف کند.  اگرچه این رویکرد در ابتدا برای یادگیری بدون نظارت طراحی شده بود، اما استفاده از آن در حوزه های دیگری مانند یادگیری نیمه نظارت و یادگیری تحت نظارت نشان داده شده است.

ساختار شماتیک یک رمزگذار خودکار پراکنده (SAE) با چندین واحد فعال (دایره پر) در لایه پنهان

اگرچه، مفهوم قبلی AE معمولاً برای کاهش ابعاد یا یادگیری ویژگی ذکر شده در بالا بود، اخیراً AEها در خط مقدم مدل‌سازی مولد قرار گرفته‌اند، حتی شبکه متخاصم مولد یکی از روش‌های محبوب در منطقه است.  AE ها به طور موثر در حوزه های مختلفی از جمله مراقبت های بهداشتی، بینایی رایانه، تشخیص گفتار، امنیت سایبری، پردازش زبان طبیعی و بسیاری موارد دیگر به کار گرفته شده اند.  به طور کلی، می‌توان نتیجه گرفت که رمزگذار خودکار و انواع آن می‌توانند نقش مهمی را به عنوان یادگیری ویژگی بدون نظارت با معماری شبکه عصبی ایفا کنند.

 نقشه کوهونن یا نقشه خودسازماندهی (SOM)

نقشه خودسازماندهی (SOM) یا نقشه کوهونن  شکل دیگری از تکنیک یادگیری بدون نظارت برای ایجاد یک نمایش کم بعدی (معمولاً دو بعدی) از مجموعه داده های بالاتر و در عین حال حفظ ساختار توپولوژیکی داده ها است.  SOM همچنین به عنوان یک الگوریتم کاهش ابعاد مبتنی بر شبکه عصبی شناخته می شود که معمولاً برای خوشه بندی استفاده می شود.  یک SOM با حرکت مکرر نورون های خود به نقاط داده، با شکل توپولوژیکی یک مجموعه داده سازگار می شود و به ما امکان می دهد مجموعه داده های عظیمی را تجسم کنیم و خوشه های احتمالی را پیدا کنیم.  اولین لایه SOM لایه ورودی است و لایه دوم لایه خروجی یا نقشه ویژگی است.  بر خلاف سایر شبکه‌های عصبی که از یادگیری تصحیح خطا استفاده می‌کنند، مانند انتشار پس‌باز با نزول گرادیان، SOM‌ها از یادگیری رقابتی استفاده می‌کنند که از یک تابع همسایگی برای حفظ ویژگی‌های توپولوژیکی فضای ورودی استفاده می‌کند.  SOM به طور گسترده در کاربردهای مختلف، از جمله شناسایی الگو، تشخیص سلامت یا پزشکی، تشخیص ناهنجاری، و تشخیص حمله ویروس یا کرم استفاده می شود.  مزیت اصلی استفاده از SOM این است که می‌تواند تجسم و تحلیل داده‌های با ابعاد بالا را برای درک الگوها آسان‌تر کند.  کاهش ابعاد و خوشه بندی شبکه، مشاهده شباهت ها در داده ها را آسان می کند.  در نتیجه، SOM ها می توانند نقشی حیاتی در توسعه یک مدل موثر مبتنی بر داده برای یک حوزه مشکل خاص، بسته به ویژگی های داده، ایفا کنند.

 ماشین بولتزمن محدود (RBM)

ماشین بولتزمن محدود (RBM) همچنین یک شبکه عصبی تصادفی مولد است که قادر به یادگیری توزیع احتمال در ورودی‌های خود است.  ماشین‌های بولتزمن معمولاً از گره‌های قابل مشاهده و پنهان تشکیل شده‌اند و هر گره به هر گره دیگری متصل است، که به ما کمک می‌کند تا با یادگیری نحوه عملکرد سیستم در شرایط عادی، بی‌نظمی‌ها را درک کنیم.  RBM ها زیرمجموعه ای از ماشین های بولتزمن هستند که محدودیتی در تعداد اتصالات بین لایه های مرئی و پنهان دارند.  این محدودیت به الگوریتم‌های آموزشی مانند الگوریتم واگرایی متضاد مبتنی بر گرادیان اجازه می‌دهد تا کارآمدتر از الگوریتم‌های ماشین‌های بولتزمن به طور کلی باشند.  RBM ها کاربردهایی در کاهش ابعاد، طبقه بندی، رگرسیون، فیلتر مشارکتی، یادگیری ویژگی، مدل سازی موضوع و بسیاری موارد دیگر پیدا کرده اند.  در زمینه مدل‌سازی یادگیری عمیق، بسته به وظیفه، می‌توان آنها را با نظارت یا بدون نظارت آموزش داد.  به طور کلی، RBM ها می توانند الگوها را در داده ها به طور خودکار تشخیص دهند و مدل های احتمالی یا تصادفی را توسعه دهند، که برای انتخاب یا استخراج ویژگی ها و همچنین تشکیل یک شبکه اعتقادی عمیق استفاده می شود.

 شبکه باور عمیق (DBN)

یک شبکه باور عمیق (DBN)  یک مدل گرافیکی مولد چند لایه است که چندین شبکه بدون نظارت منفرد مانند AE یا RBM را روی هم قرار می دهد، که از لایه پنهان هر شبکه به عنوان ورودی برای لایه بعدی استفاده می کند، یعنی به صورت متوالی متصل می شود.  بنابراین، می‌توانیم یک DBN را به (i) AE-DBN که به عنوان AE انباشته شناخته می‌شود، و (ii) RBM-DBN که به عنوان RBM پشته‌ای شناخته می‌شود، تقسیم کنیم، که در آن AE-DBN از رمزگذارهای خودکار و RBM-DBN از رمزگذارهای خودکار تشکیل شده است.  ماشین‌های محدود بولتزمن، که قبلاً مورد بحث قرار گرفت.  هدف نهایی توسعه یک تکنیک آموزشی سریعتر بدون نظارت برای هر زیرشبکه است که به واگرایی متضاد بستگی دارد.  DBN می تواند یک نمایش سلسله مراتبی از داده های ورودی را بر اساس ساختار عمیق خود بگیرد.  ایده اصلی پشت DBN آموزش شبکه‌های عصبی پیش‌خور بدون نظارت با داده‌های بدون برچسب قبل از تنظیم دقیق شبکه با ورودی برچسب‌گذاری شده است.  یکی از مهم‌ترین مزایای DBN، برخلاف شبکه‌های یادگیری کم عمق معمولی، این است که امکان تشخیص الگوهای عمیق را فراهم می‌کند که توانایی استدلال و گرفتن تفاوت عمیق بین داده‌های عادی و اشتباه را امکان‌پذیر می‌سازد.  یک DBN پیوسته صرفاً توسعه‌ای از یک DBN استاندارد است که به جای داده‌های باینری، دامنه پیوسته اعشاری را امکان‌پذیر می‌کند.  به طور کلی، مدل DBN به دلیل قابلیت‌های قوی استخراج ویژگی و طبقه‌بندی می‌تواند نقش کلیدی در طیف گسترده‌ای از کاربردهای داده‌های با ابعاد بالا داشته باشد و به یکی از موضوعات مهم در زمینه شبکه‌های عصبی تبدیل شود.

به طور خلاصه، تکنیک‌های یادگیری مولد که در بالا مورد بحث قرار گرفت، معمولاً به ما اجازه می‌دهند تا از طریق تجزیه و تحلیل اکتشافی، نمایش جدیدی از داده‌ها ایجاد کنیم.  در نتیجه، این شبکه های مولد عمیق می توانند به عنوان پیش پردازش برای وظایف یادگیری تحت نظارت یا تبعیض آمیز، و همچنین اطمینان از دقت مدل مورد استفاده قرار گیرند، جایی که یادگیری بازنمایی بدون نظارت می تواند تعمیم طبقه بندی کننده را بهبود بخشد.

شبکه های عمیق برای یادگیری ترکیبی و رویکرد های دیگر

علاوه بر مقوله های یادگیری عمیق که در بالا بحث شد، شبکه های عمیق ترکیبی و چندین رویکرد دیگر مانند یادگیری انتقال عمیق (DTL) و یادگیری تقویت عمیق (DRL) محبوب هستند که در ادامه به آنها پرداخته می شود.

 شبکه های عصبی عمیق ترکیبی

مدل‌های تولیدی قابل انطباق هستند، با ظرفیت یادگیری از داده‌های برچسب‌دار و بدون برچسب.  از سوی دیگر، مدل‌های تبعیض‌آمیز قادر به یادگیری از داده‌های بدون برچسب نیستند، اما در وظایف نظارت شده بهتر از همتایان تولیدی خود عمل می‌کنند.  چارچوبی برای آموزش هر دو مدل عمیق مولد و متمایز به طور همزمان می تواند از مزایای هر دو مدل برخوردار باشد، که باعث ایجاد انگیزه در شبکه های ترکیبی می شود.

مدل‌های یادگیری عمیق ترکیبی معمولاً از چندین (دو یا چند) مدل یادگیری عمیق پایه تشکیل شده‌اند، که در آن مدل پایه یک مدل یادگیری عمیق افتراقی یا مولد است که قبلاً مورد بحث قرار گرفت.  بر اساس ادغام مدل‌های مختلف مولد یا متمایز، سه دسته زیر از مدل‌های یادگیری عمیق ترکیبی ممکن است برای حل مشکلات دنیای واقعی مفید باشند.  این موارد به شرح زیر است:

مدل هیبریدی_1: ادغام مدل‌های مختلف مولد یا متمایز برای استخراج ویژگی‌های معنادار و قوی‌تر.  به عنوان مثال می توان CNN+LSTM، AE+GAN و غیره را نام برد.

مدل هیبریدی_2 : ادغام مدل مولد به دنبال یک مدل تمایز.  به عنوان مثال می توان به DBN+MLP، GAN+CNN، AE+CNN و غیره اشاره کرد.

 مدل هیبریدی_3 : ادغام مدل مولد یا افتراقی که توسط طبقه‌بندی‌کننده یادگیری غیرعمیق دنبال می‌شود.  به عنوان مثال می توان AE+SVM، CNN+SVM و غیره را نام برد.

بنابراین، در یک مفهوم گسترده، می‌توان نتیجه گرفت که مدل‌های ترکیبی بسته به کاربرد هدف می‌توانند بر اساس طبقه‌بندی متمرکز یا غیر طبقه‌بندی شوند.  با این حال، بیشتر مطالعات مرتبط با یادگیری ترکیبی در حوزه یادگیری عمیق، وظایف یادگیری مبتنی بر طبقه‌بندی یا تحت نظارت هستند که در جدول 1 خلاصه شده است.  مدل‌های تولیدی با نمایش مفید می‌توانند ویژگی‌های آموزنده‌تر و کم‌بعدی را برای تمایز ارائه دهند، و همچنین می‌توانند کیفیت و کمیت داده‌های آموزشی را افزایش داده و اطلاعات اضافی را برای طبقه‌بندی فراهم کنند.

 یادگیری انتقال عمیق (DTL)

آموزش انتقالی تکنیکی است برای استفاده مؤثر از دانش مدلی که قبلاً آموخته شده است برای حل یک کار جدید با حداقل آموزش یا تنظیم دقیق.  در مقایسه با تکنیک های معمولی یادگیری ماشین، DL مقدار زیادی از داده های آموزشی را می گیرد.  در نتیجه، نیاز به حجم قابل‌توجهی از داده‌های برچسب‌گذاری‌شده، مانع مهمی برای پرداختن به برخی وظایف ضروری خاص حوزه، به‌ویژه، در بخش پزشکی است، جایی که ایجاد مجموعه‌های داده پزشکی یا بهداشتی مشروح در مقیاس بزرگ و با کیفیت بالا هر دو دشوار است.  و پرهزینه  علاوه بر این، مدل استاندارد DL به منابع محاسباتی زیادی مانند سرور مجهز به GPU نیاز دارد، حتی اگر محققان سخت در تلاش برای بهبود آن هستند.  در نتیجه، یادگیری انتقال عمیق (DTL)، یک روش یادگیری انتقال مبتنی بر DL، ممکن است برای رفع این مشکل مفید باشد.  شکل 11 یک ساختار کلی از فرآیند یادگیری انتقال را نشان می دهد، که در آن دانش از مدل از پیش آموزش دیده به یک مدل DL جدید منتقل می شود.  در حال حاضر به ویژه در یادگیری عمیق محبوب است زیرا امکان آموزش شبکه های عصبی عمیق با داده های بسیار کم را فراهم می کند.

ساختار کلی فرآیند یادگیری انتقال، که در آن دانش از مدل از پیش آموزش دیده به مدل DL جدید منتقل می شود

یادگیری انتقالی یک رویکرد دو مرحله ای برای آموزش یک مدل DL است که شامل یک مرحله قبل از آموزش و یک مرحله تنظیم دقیق است که در آن مدل در مورد وظیفه هدف آموزش داده می شود.  از آنجایی که شبکه‌های عصبی عمیق در زمینه‌های مختلف محبوبیت پیدا کرده‌اند، تعداد زیادی از روش‌های DTL ارائه شده‌اند که طبقه‌بندی و خلاصه کردن آنها را ضروری می‌سازد.  بر اساس تکنیک های مورد استفاده در ادبیات، DTL را می توان به چهار دسته طبقه بندی کرد.  اینها عبارتند از (i) یادگیری انتقال عمیق مبتنی بر نمونه‌ها که از نمونه‌هایی در حوزه منبع با وزن مناسب استفاده می‌کند، (ب) یادگیری انتقال عمیق مبتنی بر نقشه‌برداری که نمونه‌ها را از دو دامنه به یک فضای داده جدید با شباهت بهتر نگاشت می‌کند، (iii) شبکه-  یادگیری مبتنی بر انتقال عمیق که بخشی از شبکه از قبل آموزش دیده در حوزه منبع را مجدداً استفاده می کند، و (iv) یادگیری انتقال عمیق مبتنی بر خصومت که از فناوری متخاصم برای یافتن ویژگی های قابل انتقال استفاده می کند که هر دو برای دو دامنه مناسب هستند.  به دلیل اثربخشی و عملی بودن، یادگیری انتقال عمیق مبتنی بر دشمن در سال‌های اخیر محبوبیت زیادی پیدا کرده است.  بسته به شرایط بین حوزه ها و فعالیت های منبع و هدف، یادگیری انتقالی نیز می تواند به یادگیری انتقالی استقرایی، انتقالی و بدون نظارت طبقه بندی شود..  در حالی که بیشتر تحقیقات کنونی بر یادگیری نظارت شده متمرکز هستند، این که چگونه شبکه های عصبی عمیق می توانند دانش را در یادگیری بدون نظارت یا نیمه نظارت منتقل کنند، ممکن است در آینده مورد توجه بیشتری قرار گیرد.  تکنیک‌های DTL در زمینه‌های مختلفی از جمله پردازش زبان طبیعی، طبقه‌بندی احساسات، تشخیص بصری، تشخیص گفتار، فیلتر هرزنامه و موارد دیگر مفید هستند.

یادگیری تقویتی عمیق (DRL)

یادگیری تقویتی رویکردی متفاوت برای حل مسئله تصمیم گیری متوالی نسبت به سایر رویکردهایی که تا کنون مورد بحث قرار داده ایم دارد.  مفاهیم محیط و عامل اغلب ابتدا در یادگیری تقویتی معرفی می شوند.  عامل می‌تواند مجموعه‌ای از اقدامات را در محیط انجام دهد، که هر یک بر وضعیت محیط تأثیر می‌گذارد و می‌تواند منجر به پاداش‌های احتمالی (بازخورد) شود – “مثبت” برای توالی خوبی از اقدامات که منجر به حالت “خوب” می‌شود، و  “منفی” برای توالی بد اقداماتی که منجر به حالت “بد” می شود.  هدف از یادگیری تقویتی یادگیری توالی اقدامات خوب از طریق تعامل با محیط است که معمولاً به عنوان یک خط مشی از آن یاد می شود.

 12

ساختار شماتیک یادگیری تقویتی عمیق (DRL) که یک شبکه عصبی عمیق را برجسته می کند

یادگیری تقویتی عمیق (DRL یا عمیق RL) شبکه های عصبی را با معماری یادگیری تقویتی ادغام می کند تا به عوامل اجازه دهد تا اقدامات مناسب را در یک محیط مجازی، همانطور که در شکل 12 نشان داده شده است، یاد بگیرند. در حوزه یادگیری تقویتی، مدل-  RL مبتنی بر یادگیری یک مدل انتقال است که امکان مدل‌سازی محیط را بدون تعامل مستقیم با آن فراهم می‌کند، در حالی که روش‌های RL بدون مدل مستقیماً از تعامل با محیط یاد می‌گیرند.  Q-learning یک تکنیک RL بدون مدل محبوب برای تعیین بهترین خط مشی انتخاب کنش برای هر فرآیند تصمیم گیری مارکوف (متناهی) است.  MDP یک چارچوب ریاضی برای مدل سازی تصمیمات بر اساس وضعیت، عمل و پاداش است.  علاوه بر این، Deep Q-Networks، Double DQN، Bi-directional Learning، Monte Carlo Control و غیره در این منطقه استفاده می شود.  در روش‌های DRL، مدل‌های DL را شامل می‌شود، به عنوان مثال.  شبکه‌های عصبی عمیق (DNN)، بر اساس اصل MDP، به عنوان تقریب‌کننده تابع خط‌مشی و/یا مقدار.  برای مثال CNN می تواند به عنوان جزئی از عوامل RL برای یادگیری مستقیم از ورودی های بصری خام و با ابعاد بالا استفاده شود.  در دنیای واقعی، راه‌حل‌های مبتنی بر DRL را می‌توان در چندین زمینه کاربردی از جمله روباتیک، بازی‌های ویدیویی، پردازش زبان طبیعی، بینایی کامپیوتر و موارد دیگر استفاده کرد.

شکل 13

چندین حوزه کاربردی بالقوه در دنیای واقعی یادگیری عمیق

خلاصه برنامه یادگیری عمیق

در طول چند سال گذشته، یادگیری عمیق با موفقیت برای مشکلات متعدد در بسیاری از زمینه های کاربردی به کار گرفته شده است.  اینها شامل پردازش زبان طبیعی، تجزیه و تحلیل احساسات، امنیت سایبری، کسب و کار، دستیاران مجازی، تشخیص بصری، مراقبت های بهداشتی، روباتیک و بسیاری موارد دیگر است.

 جهت گیری های تحقیق و جنبه های آینده

در حالی که روش های موجود پایه محکمی برای سیستم های یادگیری عمیق و تحقیق ایجاد کرده اند، این بخش ده جهت بالقوه تحقیقات آینده را بر اساس مطالعه ما تشریح می کند.

اتوماسیون در حاشیه‌نویسی داده‌ها طبق ادبیات موجود، که در بخش ۳ مورد بحث قرار گرفت، بیشتر مدل‌های یادگیری عمیق از طریق مجموعه داده‌های در دسترس عمومی که حاشیه‌نویسی شده‌اند، آموزش داده می‌شوند.  با این حال، برای ساختن یک سیستم برای یک دامنه مشکل جدید یا سیستم مبتنی بر داده های اخیر، داده های خام از منابع مربوطه برای جمع آوری مورد نیاز است.  بنابراین، حاشیه نویسی داده ها، به عنوان مثال، دسته بندی، برچسب گذاری، یا برچسب گذاری مقدار زیادی از داده های خام، برای ایجاد مدل های یادگیری عمیق متمایز یا وظایف نظارت شده مهم است، که چالش برانگیز است.  تکنیکی با قابلیت حاشیه نویسی خودکار و پویا داده، به جای حاشیه نویسی دستی یا استخدام حاشیه نویس، به ویژه برای مجموعه داده های بزرگ، می تواند برای یادگیری نظارت شده و همچنین به حداقل رساندن تلاش انسان موثرتر باشد.  بنابراین، بررسی عمیق‌تر روش‌های جمع‌آوری داده‌ها و حاشیه‌نویسی، یا طراحی یک راه‌حل مبتنی بر یادگیری بدون نظارت می‌تواند یکی از جهت‌گیری‌های اولیه پژوهشی در حوزه مدل‌سازی یادگیری عمیق باشد.

آماده‌سازی داده‌ها برای تضمین کیفیت داده همانطور که قبلاً در طول مقاله مورد بحث قرار گرفت، الگوریتم‌های یادگیری عمیق به شدت بر کیفیت داده‌ها و در دسترس بودن برای آموزش، و در نتیجه بر مدل حاصل برای یک حوزه مشکل خاص تأثیر می‌گذارند.  بنابراین، اگر داده‌ها بد باشند، مدل‌های یادگیری عمیق ممکن است بی‌ارزش شوند یا دقت کمتری را به همراه داشته باشند، مانند پراکندگی داده‌ها، غیرنمایندگی، کیفیت پایین، مقادیر مبهم، نویز، عدم تعادل داده‌ها، ویژگی‌های نامربوط، ناسازگاری داده‌ها، کمیت ناکافی و غیره.  برای آموزش  در نتیجه، چنین مسائلی در داده‌ها می‌تواند منجر به پردازش ضعیف و یافته‌های نادرست شود، که در حین کشف بینش از داده‌ها، مشکل بزرگی است.  بنابراین مدل‌های یادگیری عمیق نیز باید با چنین مسائل فزاینده‌ای در داده‌ها سازگار شوند تا اطلاعات تقریبی از مشاهدات را به دست آورند.  بنابراین، برای طراحی با توجه به ماهیت مشکل و ویژگی‌های داده‌ها، برای رسیدگی به چنین چالش‌های نوظهوری که می‌تواند یکی دیگر از جهت‌گیری‌های پژوهشی در منطقه باشد، به تکنیک‌های پیش‌پردازش داده‌های مؤثر نیاز است.

درک جعبه سیاه و انتخاب الگوریتم DL/ML مناسب به طور کلی، توضیح اینکه چگونه یک نتیجه یادگیری عمیق به دست می‌آید یا چگونه تصمیم‌های نهایی را برای یک مدل خاص می‌گیرند دشوار است.  اگرچه مدل‌های DL در حین یادگیری از مجموعه داده‌های بزرگ، عملکرد قابل‌توجهی را به دست می‌آورند، همانطور که در بخش 2 مورد بحث قرار گرفت، این درک «جعبه سیاه» از مدل‌سازی DL معمولاً نشان‌دهنده تفسیرپذیری آماری ضعیفی است که می‌تواند یک مسئله اصلی در این منطقه باشد.  از سوی دیگر، الگوریتم‌های ML، به‌ویژه تکنیک‌های یادگیری ماشین مبتنی بر قانون، قوانین منطقی صریح (IF-THEN) را برای تصمیم‌گیری ارائه می‌کنند که تفسیر، به‌روزرسانی یا حذف آن‌ها با توجه به برنامه‌های هدف آسان‌تر است.  اگر الگوریتم یادگیری اشتباه انتخاب شود، نتایج غیرمنتظره ای ممکن است رخ دهد که منجر به از دست دادن تلاش و همچنین کارایی و دقت مدل می شود.  بنابراین با در نظر گرفتن عملکرد، پیچیدگی، دقت مدل و قابلیت اجرا، انتخاب یک مدل مناسب برای برنامه مورد نظر چالش برانگیز است و برای درک بهتر و تصمیم گیری به تجزیه و تحلیل عمیق نیاز است.

شبکه های عمیق برای یادگیری تحت نظارت یا تبعیض آمیز: طبق طبقه بندی طراحی شده ما از تکنیک های یادگیری عمیق، همانطور که در شکل 6 نشان داده شده است، معماری های متمایز عمدتاً شامل MLP، CNN و RNN هستند، همراه با انواع آنها که به طور گسترده در حوزه های کاربردی مختلف به کار می روند.  با این حال، طراحی تکنیک‌های جدید یا انواع آن‌ها از چنین تکنیک‌های متمایزی با در نظر گرفتن بهینه‌سازی، دقت و کاربرد مدل، با توجه به کاربرد دنیای واقعی و ماهیت داده‌ها، می‌تواند کمک جدیدی باشد که می‌توان آن را نیز در نظر گرفت.  به عنوان یک جنبه اصلی آینده در حوزه یادگیری تحت نظارت یا تبعیض آمیز.

شبکه‌های عمیق برای یادگیری بدون نظارت یا مولد همانطور که در بخش 3 بحث شد، یادگیری بدون نظارت یا مدل‌سازی یادگیری عمیق مولد یکی از وظایف اصلی در این منطقه است، زیرا به ما اجازه می‌دهد تا ویژگی‌های همبستگی یا ویژگی‌های مرتبه بالا را در داده‌ها مشخص کنیم، یا تولید کنیم.  نمایش جدید داده ها از طریق تحلیل اکتشافی  علاوه بر این، برخلاف یادگیری نظارت شده، به دلیل توانایی آن در استخراج بینش مستقیم از داده ها و همچنین تصمیم گیری مبتنی بر داده، به داده های برچسب دار نیاز ندارد.  در نتیجه، بنابراین می توان از آن به عنوان پیش پردازش برای یادگیری نظارت شده یا مدل سازی افتراقی و همچنین وظایف یادگیری نیمه نظارتی استفاده کرد که دقت یادگیری و کارایی مدل را تضمین می کند.  با توجه به طبقه بندی طراحی شده ما از تکنیک های یادگیری عمیق، همانطور که در شکل 6 نشان داده شده است، تکنیک های مولد عمدتاً شامل GAN، AE، SOM، RBM، DBN و انواع آنها هستند.  بنابراین، طراحی تکنیک‌های جدید یا انواع آن‌ها برای مدل‌سازی یا نمایش داده‌های مؤثر با توجه به کاربرد دنیای واقعی هدف می‌تواند کمک جدیدی باشد، که می‌تواند به عنوان یک جنبه اصلی آینده در حوزه یادگیری بدون نظارت یا مولد در نظر گرفته شود.

مدل‌سازی ترکیبی/گروهی و مدیریت عدم قطعیت طبق طبقه‌بندی تکنیک‌های DL طراحی‌شده ما، همانطور که در شکل 6 نشان داده شده است، این به عنوان یکی دیگر از مقوله‌های اصلی در وظایف یادگیری عمیق در نظر گرفته می‌شود.  از آنجایی که مدل‌سازی ترکیبی از مزایای یادگیری مولد و افتراقی بهره می‌برد، یک هیبریداسیون مؤثر می‌تواند از نظر عملکرد و همچنین مدیریت عدم قطعیت در برنامه‌های پرخطر بهتر از سایرین باشد.  در بخش 3، انواع مختلف هیبریداسیون را خلاصه کرده‌ایم، به عنوان مثال، AE+CNN/SVM.  از آنجایی که گروهی از شبکه‌های عصبی با پارامترهای متمایز یا با مجموعه داده‌های آموزشی زیر نمونه‌گیری جداگانه آموزش داده می‌شوند، هیبریداسیون یا مجموعه‌ای از چنین تکنیک‌هایی، یعنی DL با DL/ML، می‌تواند نقش کلیدی در این منطقه داشته باشد.  بنابراین طراحی مدل‌های افتراقی و مولد ترکیبی مؤثر بر اساس آن به جای روش ساده‌لوحانه، می‌تواند یک فرصت تحقیقاتی مهم برای حل مسائل مختلف دنیای واقعی از جمله وظایف یادگیری نیمه‌نظارت‌شده و عدم قطعیت مدل باشد.

پویایی در انتخاب مقادیر آستانه/هایپرپارامترها و ساختارهای شبکه با کارایی محاسباتی به طور کلی، رابطه بین عملکرد، پیچیدگی مدل و الزامات محاسباتی یک موضوع کلیدی در مدل‌سازی و برنامه‌های کاربردی یادگیری عمیق است.  ترکیبی از پیشرفت های الگوریتمی با دقت بهبود یافته و همچنین حفظ کارایی محاسباتی، یعنی دستیابی به حداکثر توان عملیاتی در حالی که کمترین مقدار منابع را مصرف می کند، بدون از دست دادن اطلاعات قابل توجه، می تواند منجر به پیشرفت در اثربخشی مدل سازی یادگیری عمیق در آینده واقعی شود.  برنامه های کاربردی جهان  مفهوم رویکردهای افزایشی یا یادگیری مبتنی بر تازگی ممکن است در چندین مورد بسته به ماهیت کاربردهای هدف موثر باشد.  علاوه بر این، فرض ساختارهای شبکه با تعداد ایستا گره ها و لایه ها، مقادیر فراپارامترها یا تنظیمات آستانه، یا انتخاب آنها توسط فرآیند آزمون و خطا ممکن است در بسیاری از موارد موثر نباشد، زیرا می توان آن را تغییر داد.  تغییرات در داده ها  بنابراین، یک رویکرد مبتنی بر داده برای انتخاب آنها به صورت پویا می تواند در ساختن یک مدل یادگیری عمیق از نظر عملکرد و کاربرد در دنیای واقعی موثرتر باشد.  چنین نوع اتوماسیون مبتنی بر داده می‌تواند به مدل‌سازی یادگیری عمیق نسل آینده با هوش اضافی منجر شود، که می‌تواند جنبه مهمی در آینده در این منطقه و همچنین یک جهت تحقیقاتی مهم برای مشارکت باشد.

مدل‌سازی عمیق سبک وزن برای دستگاه‌ها و برنامه‌های هوشمند نسل بعدی: در سال‌های اخیر، اینترنت اشیا (IoT) متشکل از میلیاردها چیز هوشمند و ارتباطی و فناوری‌های ارتباطات سیار برای شناسایی و جمع‌آوری اطلاعات انسانی و محیطی (مثلاً جغرافیایی) محبوب شده‌اند.  -اطلاعات، داده های آب و هوا، داده های زیستی، رفتارهای انسانی و غیره) برای انواع سرویس ها و برنامه های هوشمند.  هر روز، این چیزها یا دستگاه‌های هوشمند فراگیر، مقادیر زیادی داده تولید می‌کنند که نیاز به پردازش سریع داده‌ها در انواع دستگاه‌های تلفن همراه هوشمند دارند.  فن‌آوری‌های یادگیری عمیق را می‌توان برای کشف ویژگی‌های زیربنایی و مدیریت مؤثر چنین مقادیر زیادی از داده‌های حسگر برای انواع برنامه‌های IoT از جمله پایش سلامت و تجزیه و تحلیل بیماری، شهرهای هوشمند، پیش‌بینی جریان ترافیک، و نظارت، حمل‌ونقل هوشمند، بازرسی ساخت، خطا، ترکیب کرد.  ارزیابی، صنعت هوشمند یا صنعت 4.0 و بسیاری موارد دیگر.  اگرچه تکنیک‌های یادگیری عمیق مورد بحث در بخش ۳ به‌عنوان ابزار قدرتمندی برای پردازش داده‌های بزرگ در نظر گرفته می‌شوند، مدل‌سازی سبک وزن برای دستگاه‌های دارای محدودیت منابع مهم است، زیرا هزینه محاسباتی بالا و سربار حافظه قابل‌توجهی دارد.  بنابراین چندین تکنیک مانند بهینه‌سازی، ساده‌سازی، فشرده‌سازی، هرس، تعمیم، استخراج ویژگی‌های مهم و غیره ممکن است در چندین مورد مفید باشند.  بنابراین، ساخت تکنیک‌های یادگیری عمیق سبک بر اساس معماری شبکه پایه برای انطباق مدل DL برای نسل بعدی موبایل، اینترنت اشیا یا دستگاه‌ها و برنامه‌های کاربردی با محدودیت منابع، می‌تواند به عنوان یک جنبه مهم آینده در این منطقه در نظر گرفته شود.

گنجاندن دانش دامنه در مدل‌سازی یادگیری عمیق دانش دامنه، برخلاف دانش عمومی یا دانش مستقل از دامنه، دانش یک موضوع یا زمینه خاص و تخصصی است.  به عنوان مثال، از نظر پردازش زبان طبیعی، ویژگی‌های زبان انگلیسی معمولاً با زبان‌های دیگر مانند بنگالی، عربی، فرانسوی و غیره متفاوت است. بنابراین ادغام محدودیت‌های مبتنی بر دامنه در مدل یادگیری عمیق می‌تواند نتایج بهتری را برای چنین هدف خاصی ایجاد کند.  به عنوان مثال، یک استخراج کننده ویژگی خاص وظیفه با در نظر گرفتن دانش دامنه در تولید هوشمند برای تشخیص خطا می تواند مسائل را در روش های سنتی مبتنی بر یادگیری عمیق حل کند. به طور مشابه، دانش حوزه در تجزیه و تحلیل تصویر پزشکی ، تجزیه و تحلیل احساسات مالی، تجزیه و تحلیل امنیت سایبری و همچنین مدل داده مفهومی که در آن اطلاعات معنایی، (یعنی برای یک سیستم معنادار است، نه صرفاً همبستگی) گنجانده شده است، می تواند نقشی حیاتی در این منطقه داشته باشد.  یادگیری انتقالی می تواند راهی موثر برای شروع چالش جدید با دانش دامنه باشد.  علاوه بر این، اطلاعات زمینه‌ای مانند زمینه‌های مکانی، زمانی، اجتماعی، محیطی همچنین می‌تواند نقش مهمی در ترکیب محاسبات آگاه از زمینه با دانش دامنه برای تصمیم‌گیری هوشمند و همچنین ایجاد بافت آگاه سازگار و هوشمند داشته باشد.  سیستم های.  بنابراین درک دانش حوزه و گنجاندن موثر آنها در مدل یادگیری عمیق می تواند یکی دیگر از جهت گیری های پژوهشی باشد.

طراحی چارچوب کلی یادگیری عمیق برای دامنه‌های کاربردی هدف یکی از جهت‌های پژوهشی امیدوارکننده برای راه‌حل‌های مبتنی بر یادگیری عمیق، توسعه یک چارچوب کلی است که بتواند تنوع داده‌ها، ابعاد، انواع تحریک و غیره را مدیریت کند. چارچوب کلی به دو قابلیت کلیدی نیاز دارد: مکانیسم توجه.  که بر باارزش‌ترین بخش‌های سیگنال‌های ورودی تمرکز می‌کند و توانایی ضبط ویژگی پنهان را دارد که چارچوب را قادر می‌سازد تا ویژگی‌های متمایز و آموزنده را ثبت کند.  مدل‌های توجه به دلیل شهود، تطبیق پذیری و تفسیرپذیری یک موضوع تحقیقاتی محبوب بوده‌اند و در زمینه‌های کاربردی مختلف مانند بینایی رایانه، پردازش زبان طبیعی، طبقه‌بندی متن یا تصویر، تجزیه و تحلیل احساسات، سیستم‌های توصیه‌کننده، پروفایل‌های کاربر و غیره مورد استفاده قرار می‌گیرند.  مکانیسم توجه را می توان بر اساس الگوریتم های یادگیری مانند یادگیری تقویتی که قادر به یافتن مفیدترین بخش از طریق جستجوی خط مشی است، پیاده سازی کرد.  به طور مشابه، CNN را می توان با مکانیسم های توجه مناسب برای تشکیل یک چارچوب طبقه بندی کلی ادغام کرد، جایی که CNN می تواند به عنوان یک ابزار یادگیری ویژگی برای گرفتن ویژگی ها در سطوح و محدوده های مختلف استفاده شود.  بنابراین، طراحی یک چارچوب کلی یادگیری عمیق با در نظر گرفتن توجه و همچنین یک ویژگی پنهان برای حوزه های کاربردی هدف می تواند زمینه دیگری برای کمک باشد.

به طور خلاصه، یادگیری عمیق یک موضوع نسبتاً باز است که دانشگاهیان می‌توانند با توسعه روش‌های جدید یا بهبود روش‌های موجود برای رسیدگی به نگرانی‌های فوق‌الذکر و مقابله با مشکلات دنیای واقعی در زمینه‌های مختلف کاربردی، به آن کمک کنند.  این همچنین می‌تواند به محققان کمک کند تا تجزیه و تحلیل کاملی از چالش‌های پنهان و غیرمنتظره برنامه انجام دهند تا نتایج قابل اعتمادتر و واقعی‌تری تولید کنند.  به طور کلی، می‌توان نتیجه گرفت که پرداختن به مسائل ذکر شده در بالا و کمک به پیشنهاد تکنیک‌های مؤثر و کارآمد می‌تواند به مدل‌سازی «نسل آینده DL» و همچنین کاربردهای هوشمندتر و خودکارتر منجر شود.

 نتایجی که اظهار شده

در این مقاله، دیدگاهی ساختاریافته و جامع از فناوری یادگیری عمیق ارائه کرده‌ایم که بخشی اصلی از هوش مصنوعی و همچنین علم داده محسوب می‌شود.  با تاریخچه ای از شبکه های عصبی مصنوعی شروع می شود و به سمت تکنیک های یادگیری عمیق اخیر و پیشرفت ها در کاربردهای مختلف حرکت می کند.  سپس الگوریتم های کلیدی در این زمینه و همچنین مدل سازی شبکه های عصبی عمیق در ابعاد مختلف مورد بررسی قرار می گیرد.  برای این، ما همچنین یک طبقه بندی با در نظر گرفتن تغییرات وظایف یادگیری عمیق و نحوه استفاده از آن ها برای اهداف مختلف ارائه کرده ایم.  در مطالعه جامع خود، ما نه تنها شبکه‌های عمیق برای یادگیری تحت نظارت یا تبعیض‌آمیز، بلکه شبکه‌های عمیق برای یادگیری بدون نظارت یا مولد، و یادگیری ترکیبی را نیز در نظر گرفته‌ایم که می‌تواند برای حل انواع مسائل دنیای واقعی با توجه به  ماهیت مشکلات

یادگیری عمیق، برخلاف الگوریتم‌های یادگیری ماشینی و داده‌کاوی سنتی، می‌تواند نمایش داده‌های بسیار سطح بالایی را از مقادیر عظیمی از داده‌های خام تولید کند.  در نتیجه، راه حلی عالی برای انواع مشکلات دنیای واقعی ارائه کرده است.  یک تکنیک یادگیری عمیق موفق باید بسته به ویژگی‌های داده‌های خام، مدل‌سازی مبتنی بر داده مرتبط را داشته باشد.  سپس الگوریتم های یادگیری پیچیده باید از طریق داده های جمع آوری شده و دانش مربوط به برنامه مورد نظر قبل از اینکه سیستم بتواند به تصمیم گیری هوشمند کمک کند، آموزش داده شود.  نشان داده شده است که یادگیری عمیق در طیف گسترده ای از کاربردها و زمینه های تحقیقاتی مانند مراقبت های بهداشتی، تجزیه و تحلیل احساسات، تشخیص بصری، هوش تجاری، امنیت سایبری و بسیاری موارد دیگر که در مقاله خلاصه شده اند، مفید است.

در نهایت، چالش‌های پیش‌رو و جهت‌گیری‌های بالقوه پژوهشی و جنبه‌های آینده در این منطقه را خلاصه و مورد بحث قرار داده‌ایم.  اگرچه یادگیری عمیق به دلیل استدلال و تفسیرپذیری ضعیف آن یک راه حل جعبه سیاه برای بسیاری از کاربردها در نظر گرفته می شود، پرداختن به چالش ها یا جنبه های آینده شناسایی شده می تواند به مدل سازی یادگیری عمیق نسل آینده و سیستم های هوشمندتر منجر شود.  این همچنین می تواند به محققان برای تجزیه و تحلیل عمیق کمک کند تا نتایج قابل اعتمادتر و واقعی تری تولید کنند.