آموزش هوش مصنوعی با پایتون - پردازش زبان طبیعی

پردازش زبان طبیعی (NLP) به روشی در هوش مصنوعی اشاره دارد که برای ارتباط با سیستم‌های هوشمند با استفاده از یک زبان طبیعی مانند انگلیسی به کار می‌رود.

پردازش زبان طبیعی زمانی مورد نیاز است که می‌خواهید یک سیستم هوشمند مانند ربات طبق دستورالعمل‌های شما عمل کند، یا زمانی که می‌خواهید تصمیم یک سیستم خبره بالینی مبتنی بر گفتگو را بشنوید و مواردی از این دست.

حوزه پردازش زبان طبیعی شامل واداشتن کامپیوترها به انجام وظایف مفید با استفاده از زبان‌های طبیعی است که انسان‌ها از آن‌ها استفاده می‌کنند. ورودی و خروجی یک سیستم پردازش زبان طبیعی می‌تواند شامل موارد زیر باشد −

• گفتار
• متن نوشته‌شده

اجزای پردازش زبان طبیعی

در این بخش، با اجزای مختلف پردازش زبان طبیعی آشنا خواهیم شد. پردازش زبان طبیعی دارای دو بخش اصلی است. این اجزا در ادامه توضیح داده شده‌اند −

فهم زبان طبیعی (NLU)

این بخش شامل وظایف زیر است −

• نگاشت ورودی داده‌شده در قالب زبان طبیعی به بازنمایی‌های کاربردی.

• تحلیل جنبه‌های مختلف زبان.

تولید زبان طبیعی (NLG)

فرآیند تولید عبارات و جملات معنادار در قالب زبان طبیعی از روی یک بازنمایی داخلی است. این فرآیند شامل موارد زیر است −

• برنامه‌ریزی متن − این مرحله شامل بازیابی محتوای مرتبط از پایگاه دانش است.

• برنامه‌ریزی جمله − این مرحله شامل انتخاب کلمات مورد نیاز، تشکیل عبارات معنادار و تعیین لحن جمله است.

• تحقق متن − این مرحله نگاشت برنامه جمله به ساختار جمله است.

دشواری‌های موجود در فهم زبان طبیعی (NLU)

فهم زبان طبیعی از نظر فرم و ساختار بسیار غنی است؛ با این حال، دارای ابهام است. ابهام می‌تواند در سطح‌های مختلفی وجود داشته باشد −

ابهام واژگانی

این ابهام در سطحی بسیار اولیه مانند سطح کلمه مطرح می‌شود. برای مثال، آیا کلمه board به عنوان اسم در نظر گرفته شود یا فعل؟

ابهام در سطح نحو (ساختار جمله)

یک جمله را می‌توان به روش‌های مختلفی تجزیه ساختاری کرد. برای مثال: He lifted the beetle with red cap. − آیا او از کلاه برای بلند کردن سوسک استفاده کرد یا سوسکی را بلند کرد که کلاه قرمز داشت؟

ابهام مرجعی

اشاره به چیزی با استفاده از ضمایر. برای مثال: Rima went to Gauri. She said, I am tired. − دقیقاً چه کسی خسته است؟

اصطلاحات پردازش زبان طبیعی

اکنون چند اصطلاح مهم در واژه‌شناسی پردازش زبان طبیعی را بررسی می‌کنیم.

• واژه‌شناسی / واج‌شناسی (Phonology) − مطالعه سازماندهی سیستماتیک صداها است.

• ریخت‌شناسی / صرف (Morphology) − مطالعه ساخت کلمات از واحدهای معنادار اولیه است.

• تکواژ (Morpheme) − کوچک‌ترین واحد معنادار در یک زبان است.

• نحو (Syntax) − به چیدمان کلمات برای ساخت یک جمله اشاره دارد. همچنین شامل تعیین نقش ساختاری کلمات در جمله و عبارات می‌شود.

• معناشناسی (Semantics) − به معنای کلمات و نحوه ترکیب آن‌ها برای ساخت عبارات و جملات معنادار مربوط می‌شود.

• کاربردشناسی (Pragmatics) − به استفاده و درک جملات در موقعیت‌های مختلف و نحوه تأثیرپذیری تفسیر جمله می‌پردازد.

• گفتمان (Discourse) − به این می‌پردازد که چگونه جمله دقیقاً قبلی می‌تواند بر تفسیر جمله بعدی تأثیر بگذارد.

• دانش جهان (World Knowledge) − شامل دانش عمومی درباره جهان پیرامون است.

مراحل پردازش زبان طبیعی

این بخش مراحل مختلف در پردازش زبان طبیعی را نشان می‌دهد.

تحلیل واژگانی

شامل شناسایی و تحلیل ساختار کلمات است. واژگان یک زبان به معنای مجموعه کلمات و عبارات در آن زبان است. تحلیل واژگانی به معنای تقسیم کل بخش متن به پاراگراف‌ها، جملات و کلمات است.

تحلیل نحوی (تجزیه ساختاری)

شامل تحلیل کلمات در جمله از نظر گرامری و چیدمان کلمات به گونه‌ای است که رابطه بین آن‌ها را نشان دهد. جمله‌ای مانند The school goes to boy توسط تحلیل‌گر نحوی زبان انگلیسی رد می‌شود.

تحلیل معنایی

معنای دقیق یا معنای قاموسی (فرهنگ‌لغتی) را از متن استخراج می‌کند. متن از نظر معنادار بودن بررسی می‌شود. این کار با نگاشت ساختارهای نحوی و اشیاء در حوزه مسئله انجام می‌شود. تحلیل‌گر معنایی جملاتی مانند hot ice-cream را رد می‌کند.

یکپارچه‌سازی گفتمان

معنای هر جمله به معنای جمله‌ای بستگی دارد که درست قبل از آن آمده است. علاوه بر این، بر معنای جمله‌ای که بلافاصله پس از آن می‌آید نیز تأثیر می‌گذارد.

تحلیل کاربردشناختی

در طول این مرحله، آنچه گفته شده بر اساس آنچه واقعاً منظور بوده است، دوباره تفسیر می‌شود. این مرحله شامل استخراج آن جنبه‌هایی از زبان است که به دانش دنیای واقعی نیاز دارند.