پایان نامه استخراج اتوماتیک اطلاعات بر اساس آنتالوژی
مقدمه
تا ده سال پیش کسی هرگز فکر آن را نمی کرد که روزی اینترنت بتواند تا این حد در زنـدگی انـسانها رسوخ نموده و در شیوه زندگی، اخبار، اطلاع رسانی، ارتباطات وغیره تاثیر گذار باشد. امـروزه بـا رشـدروز افزون وب و با وجود ۴۰۰ میلیون وب سـایت [ISC06] و چنـدین میلیـارد منـابع اطلاعـاتی (شـا مل صفحاتHTML ، فایل های صوتی، ویدئویی، تصاویر ، RSS ،XML و غیره)، عمـلا وب جـاری بـه یـککتابخانه بزرگ از منابع و اطلاعات مختلف تبدیل شده است.
بازیابی و استخراج اطلاعات
دسترسی آسان به منابع وب و حجم کثیر اطلاعات و مفـاهیم موجـود در صـفحه وب، آن را بـه یـکگنجینه ارزشمند از آنتالوژی های غیر رسمی تبدیل کرده است. از این رو استخراج آنتـالوژی هـای رسـمیسازی شده و یا حتی اطلاعات ساختیافته و یکپارچه از صـفحات وب یکـی از موضـوعات مـورد تحقیـقپژوهشگران می باشد.
همانطور که گفته شد، صفحات وب برای نمایش و استفاده انسان ها طراحی شده اند و براحتی بـرایماشین ها قابل فهم نمی باشند. لذا برای استخراج اطلاعات از صفحات وب لازم است تا ابتدا با اسـتفاده ازروش های داده کاوی، آماری و غیره، قواعد استخراج را یافته سپس با اعمال این قواعد بـر روی صـفحاتمشابه، اطلاعات مورد نظر را استخراج نمود. عملیات مربوط به اعمال قواعد اسـتخراج بـر روی صـفحاتوب و بازیابی اطلاعات مورد نظر توسط نرم افزاری بنام Wrapper انجام می گیرد.
فهرست مطالب
فهرست لیست ها............................................................................................................................... و
۱- مقدمه ..........................................................................................................................................١
۱-۱- وب معنایی...................................................................................................................................... 2
۱-۲- بازیابی و استخراج اطلاعات............................................................................................................. 3
۱-۳- محدوده بحث و دستاورد تحقیق ..................................................................................................... ٥
۱-۴- طرح کلی بحث ............................................................................................................................... ٧
۲- مفاهیم و کلیات ...........................................................................................................................٩
۲-۱- معرفی آنتالوژی............................................................................................................................... ٩
۲–۱–۱– سطوح بازنمایی آنتالوژی.......................................................................................................................١١
۲–۱–۲– زبان های تعریف آنتالوژی.....................................................................................................................١٢
۲-۲- استخراج اطلاعات و وب معنایی...................................................................................................١٤
۲-۳- استخراج اطلاعات از انوع مختلف منابع متنی وب ........................................................................١٦
۲-۴- بازیابی اطلاعات و استخراج اطلاعات...........................................................................................١٧
۲- ۴-۱- "بازیابی داده" در مقابل "بازیابی اطلاعات"...............................................................................................١٩
۲- ۴-۲- "بازیابی اطلاعات برای وب معنایی" در مقابل "بازیابی اطلاعات مبتنی بر آنتالوژی"...................................٢٠
۲-۵- ایجاد آنتالوژی برای وب معنایی....................................................................................................٢٠
۲- ۵-۱- ایجاد دستی آنتالوژی ها..........................................................................................................................٢٠
۲- ۵-۲- ایجاد اتوماتیک آنتالوژی ها.....................................................................................................................٢٢
۲-۶- خلاصه مطالب و نتیجه گیری........................................................................................................٢٤
۳- بررسی سوابق مرتبط با تحقیق .................................................................................................. ٢٥
۳-۱- مقدمه ............................................................................................................................................٢٥
۳-۲- روش های مبتنی بر زبان های پرس و جو .....................................................................................٢٦
۳-۳- روش های مبتنی بر پردازش زبان طبیعی.......................................................................................٢٩
۳-۴- روش های آگاه از HTML............................................................................................................٣٥
۳-۵- روش های استنتاج WRAPPER.....................................................................................................٣٨
۳-۶- روش های مبتنی بر آنتالوژی .........................................................................................................٤٢
۳-۷- خلاصه مطالب و نتیجه گیری........................................................................................................٤٦
٤٨ ............................................................................................ONTOBYONTO معرفی سیستم
۴-۱- مقدمه ............................................................................................................................................٤٨
۴-۲- معماری سیستم ONTOBYONTO.................................................................................................٥٠
٥٢...............................................................................................WRAPPER زبان تعریف :WDML -۳-۴
۴- ۳-۱- معرفی مستندات ورودی.........................................................................................................................٥٣
۴- ۳-۲- معرفی قالب خروجی.............................................................................................................................٥٤
۴- ۳-۳- معرفی الگوی استخراج...........................................................................................................................٥٥
۴-۴- استخراج با استفاده از WDML.....................................................................................................٦٢
۴- ۴-۱- الگوریتم استخراج..................................................................................................................................٦٢
۴- ۴-۲- اجرای یک مثال......................................................................................................................................٦٦
۴-۵- خلاصه مطالب و نتیجه گیری........................................................................................................٦٨
۵- تولید اتوماتیک فایل های WDML........................................................................................... ٧٠
۵-۱- مقدمه ............................................................................................................................................٧٠
۵-۲- آنتالوژی استخراج .........................................................................................................................٧١
۵- ۲-۱- انتخاب زبان...........................................................................................................................................٧٢
۵- ۲-۲- تعریف کلاس ها....................................................................................................................................٧٣
۵- ۲-۳- تعریف خصوصیات................................................................................................................................٧٤
۵- ۲-۴- تعریف الگو ها.......................................................................................................................................٧٧
۵- ۲-۵- تعریف فهرست واژگان آنتالوژی.............................................................................................................٨١
۵- ۲-۵- آنتالوژی استخراج برای یک صفحه وب نمونه.........................................................................................٨٢
۵-۳- الگوریتم ایجاد اتوماتیک WDML................................................................................................٨٤
۵- ۳-۱- تولید WDML........................................................................................................................................٨٥
٨٧.......................................................................................................................................Wapper ایجاد -۲-۳ -۵
۵- ۳-۳- یافتن الگو ها..........................................................................................................................................٨٩
۵- ۳-۴- روتین های اولیه مورد نیاز در پردازش الگو ها........................................................................................٩٣
۵-۴- اجرای الگوریتم در یک صفحه نمونه ..........................................................................................١٠٢
۵-۵- خلاصه مطالب و نتیجه گیری......................................................................................................١٠٦
۶- ارزیابی و جمع بندی مطالب ................................................................................................... ١٠٧
۶-۱- مقدمه ..........................................................................................................................................١٠٧
۶-۲- شاخص های ارزیابی...................................................................................................................١٠٨
۶-۳- روش و نتایج ارزیابی ..................................................................................................................١١٠
۶-۴- نقاط گسترش تحقیق...................................................................................................................١١٢
۷- منابع ....................................................................................................................................... ١١٣
۸- ضمائم .................................................................................................................................... ١١٦
۸-۱- آنتالوژی استخراج نمونه برای گوش های تلفن همراه .................................................................١١٦
فهرست شکل ها
شکل ۱ : نمودار رشد سایت های اینترنتی [ISC06] ........................................................................................................١
شکل ۲: عملکرد Wrapper ها .......................................................................................................................................٣
شکل ۳: مولفه خزشگر .....................................................................................................................................................٥
شکل ۴: مولفه تولید کننده Wrapper..............................................................................................................................٦
شکل ۵: مولفه استخراج کننده ...........................................................................................................................................٦