2-3-2- دیدگاه مبتنی بر دانش 28

2-3-3- دیدگاه ترکیبی و خلاقانه 30

2-4- فاکتورهای ارزیابی.. 30

2-4-1- پوشش 31

2-4-2- دقت 31

2-4-3- درستی و یادآوری 31

2-4-4- F-SCORE 32

فصل سوم: بر کارهای مرتبط پیشین

3-1- مقدمه. 34

3-2- روش­های نظارتی.. 35

3-3- روش­های غیرنظارتی.. 39

3-4- روش­های مبتنی بر دانش…. 41

3-5- روش­های ترکیبی و خلاقانه. 44

فصل چهارم: روش پیشنهادی

4-1- مقدمه. 51

4-2- معرفی ابزارها و منابع مورد استفاده 52

4-2-1- ریشه­یاب 52

4-2-2- برچسب گذار بخشی از گفتار 53

4-2-3- وردنت 54

4-2-4- وردنت توسعه یافته 57

4-2-5- دامنه­ی وردنت 59

4-3- مراحل روش پیشنهادی.. 59

4-3-1- استخراج کلمات همراه 60

4-3-1-1- پیش پردازش…. 61

4-3-2- استخراج فهرست لغات 61

4-3-2-1- کلمات مترادف و تعاریف… 62

4-3-2-2- کلیه­ی روابط معنایی.. 62

4-3-2-3- هایپرنیم در چند سطح.. 63

4-3-2-4- دامنه­ی کلمات… 64

4-3-2-5- امتیازدهی.. 64

فصل پنجم: پیاده­سازی و ارزیابی

5-1- مقدمه. 67

5-2- نتایج.. 68

فصل ششم: جمع­بندی و نتیجه­گیری

6-1- جمع­بندی.. 71

6-2- کارهای آتی.. 72

فهرست منابع.. 74

1-1- مقدمه

تولید حجم عظیمی از مقالات و مستندات، جامعه­ی علمی را بر آن داشت تا با بهره­گیری از مزایا و توانایی­های روش­های خودکار جهت پردازش این متون، به حوزه­ای تحت عنوان پردازش زبان­های طبیعی[1] روی آورد. همچنین با توجه به وجود لیستی از معانی کلمات و عبارات یا همان دیکشنری و حتی اختصاص موسساتی جهت تعیین نحوه­ی استفاده از یک زبان در برخی از کشورها، اینطور به نظر می­رسد که امکان مکانیزه کردن فهم یک زبان توسط کامپیوتر وجود دارد [1].

مبحث پردازش زبان­های طبیعی خود زیرمجموعه­ای از حوزه­ی گسترده­ی هوش مصنوعی است که توجهات دانشمندان و محققان فراوانی را به خود معطوف کرده است. شاید به ظاهر زبان­هایی که ما در زندگی روزمره برای ایجاد ارتباط با دیگران به کار می­گیریم، ساده باشند. اما در حقیقت این زبان­های انسانی پیچیدگی­های فراوانی دارند که همین پیچیدگی­ها منجر به شکل­گیری زیرشاخه­های متعددی همچون ترجمه­ی ماشینی[2]، بازیابی اطلاعات[3]، پردازش متون[4]، تشخیص صحبت[5]، تحلیل گرامری[6] ، رفع ابهام معنایی[7] و غیره در زمینه­ پردازش زبان­های طبیعی شده است.

در بین مباحث متفاوتی که در زمینه­ پردازش زبان­های طبیعی موجود است، برای اینجانب ابهام معنایی[8] جذابیت بیشتری داشته که در این پایان­نامه به این موضوع پرداخته­ام. ابهام معنایی یکی از مباحث پیچیده و در عین حال پراهمیت است که در شاخه­هایی نظیر ترجمه­ی ماشینی و بازیابی اطلاعات نیز مطرح بوده و بعنوان جزء جدایی ناپذیری از اینگونه سیستم­ها دارای ارزش و حائز اهمیت است.

در واقع این مبحث نشأت گرفته از ابهامی است که در زبان­های طبیعی نهفته است؛ هرچند که وجود این ابهام­ها در اکثر مواقع از دید انسان پوشیده است. آنچه ابهام­های موجود بین سخنگویان بومی را مرتفع می­سازد توانش زبانی آنها، اطلاعات آنها در خصوص جهان پیرامون، طرح پرسش مجدد در صورت وجود یا احساس ابهام و بطور کلی مجموعه­ای از اطلاعات زبانی و غیرزبانی است که سخنگویان بومی به آن مجهزند [40].

مسأله­ی ابهام معنایی شامل تشخیص معنای صحیح یک کلمه با توجه به متنی است که در آن آمده است و در زمینه­ پردازش زبان­های طبیعی به آن رفع ابهام معنایی گفته می­شود. این مهم در بسیاری از شاخه­های پردازش زبان­های طبیعی نیز مطرح بوده و کاربرد دارد که در این میان اصلی­ترین و مشهودترین مورد استفاده­ی آن در شاخه­ی ترجمه­ی ماشینی است. لذا در این فصل ابتدا اشاره­ی کوتاهی به گستره­ی پردازش زبان­های طبیعی و زیرشاخه­های آن داشته، سپس مختصری به شرح مفهوم ترجمه­ی ماشینی و روش­های آن می­پردازیم.

1-2- پردازش زبان­های طبیعی