همانطور که قبلا بیان شد یادگیری ماشین به معنای داده کاوی data mining جهت یافتن مدلی است که بتواند خروجی های درست به ما دهد.

در یادگیری ماشین machine learning، کامپیوتر هیچ درکی از ماهیت داده ها ندارد و صرفا به دنبال یافتن الگوها و پترنها و الگوریتمهایی است که بتواند مدلی بسازد طوری که مدل ساخته شده به خوبی کار پیش بینی را انجام دهد.

ساده ترین مدلی که می تواند برای برقراری ارتباط بین ورودی و خروجی برقرار کرد مدلهای ساخته شده حاصل از روابط رگرسیونی regression مستقل است.

در این مدلها یک رابطه خطی بین ورودی ها و خروجی ها برقرار شده و فرض می شود که متغیرهای ورودی از هم مستقل هستند و با این روش شروع به آموزش training و تست test و نهایتا ساخت مدل می کنند.

مدلهای پیشرفته تر شامل روابط رگرسیونی غیر خطی non linear regression است.

مدلهای باز هم پیشرفته تر شامل مدلهایی می شود که در روابط آن اندرکنش و همبستگی بین متغیرهای ورودی نیز در نظر گرفته شده است.

به عبارت دیگر زمانی که متغیرهای ورودی دارای همسبتگی درونی با یکدیگر هستند در این مواقع می بایست از روشهایی استفاده کرد که این همبستگی را در نظر بگیرند.

یکی از این روشها روش بیشینه آنتروپی یا ماکزیمم انتروپی Maximum Entropy می باشد.

در این روش از بین مدلهایی که آموزش و تست شده اند، مدلی نهایتا انتخاب می گردد که خروجی آن مدل توزیعی را ارائه می کند که انتروپی این توزیع حداکثر است.

انتروپی یک توزیع همانند سایر آماره ها، یک عدد می باشد که با استفاده از فرمول خاص خود قابل محاسبه است.

انتروپی یک توزیع معیاری از میزان شگفتی پیشامدها آن توزیع است یعنی اگر توزیع بتواند هر چه بیشتر خروجی هایی تولید کند که احتمال رخداد آن بسیار کم است آن توزیع دارای انتروپی بیشتری است.