رابطه بین مدل N-Gram با زنجیره مارکوف و کاربرد آن در پیش بینی کلمات

در اینم مقاله سهی می کنیم ابتدا به بررسی و ریشه یابی زبان مدل سازی n-gram پرداخته و از طریق یک مثال کاربردی رابطه بین این مدل آماری زبان و زنجیره مارکوف را توصیف می کند. زبان طبیعی (natural language)، به زبانی م یگویند که بین انسان ها رایج است و انسان ها می توانند از آن برای ارتباط با یکدیگر به صورت های نوشتن، حرف زدن، خواندن و ... استفاده می شود. وقتی می گوییم مدل سازی زبان طبیعی، یعنی بیاییم و روابط و قواعد زبان را به طور هدفمند، ساده کنیم تا به ابزاری برسیم که بتوان از آن برای بررسی زبان و استفاده یا حتی تولید آن استفاده کرد. بسیاری از این مدل ها از یک پس زمینه ریاضی برخوردار هستند، مانند گراف، احتمالات و ... در طول این تحقیق تلاش شده است تا کاربردهای این زبان که در واقع برپایه مدل سازی بنا نهاده شده مورد بررسی قرار گیرد. تشریح مدل های n-gram و مشاهدات آماری آنها از دیگر محتویات این مقاله می باشد. موضوع مهمی همچون تقریب تطابق های زیانی نیز در نظر گرفته شده است. در مثال کاربردی ارائه شده سعی شده است که نحوه پیش بینی و تاثیر انواع الگوریتم های ارائه شده برای این مدل سازی مورد بررسی قرار گرفته که در 4 حوزه که با انجام کارهای تکراری متنی روبرو بوده و روزانه زمان زیادی صرف رسیدگی به این امور که با خطای بالایی هم همراه هستند می شود، پیاده سازی شده است.

کلیدواژه ها:

زبان مدل سازی ، n-gram ، زنجیره مارکوف ، تطابق زبان ، پیش بینی ، زبان طبیعی ، الفبا