Menurut sumber cerita dari para sesepuh desa, diketahui bahwa terbentuk desa Ngrayudan berasal  dari riwayat Ngrayu yang artinya kijang , yang sampai saat ini masih ada petilasannya di Dekat Kantor Desa Ngrayudan. Berdasarkan riwayat tersebut maka dikenal maka  daerah ini dikenal dengan Desa Ngrayudan sampai sekarang.

Adapun Kepala Desa yang pernah menjabat di Desa Ngrayudan adalah : Dul Manan , Sarengat , Soejoto , Drs . Hary Pramono dan sekarang Suwarno 

Adapun Desa Ngrayudan dibagi menjadi 4 (Empat) dusun, yaitu :

1. Dusun Gagar
2. Dusun Sanan
3. Dusun Nglorog
4. Dusun Bungkus