Menurut sumber cerita dari para sesepuh desa, diketahui bahwa terbentuk desa Ngrayudan berasal dari riwayat Ngrayu yang artinya kijang , yang sampai saat ini masih ada petilasannya di Dekat Kantor Desa Ngrayudan. Berdasarkan riwayat tersebut maka dikenal maka daerah ini dikenal dengan Desa Ngrayudan sampai sekarang.
Adapun Kepala Desa yang pernah menjabat di Desa Ngrayudan adalah : Dul Manan , Sarengat , Soejoto , Drs . Hary Pramono dan sekarang Suwarno
Adapun Desa Ngrayudan dibagi menjadi 4 (Empat) dusun, yaitu :
Dusun Gagar
Dusun ...