1390-1434 skriver Niels Krabbe sig til "Østerholm". På den tid er herresædet i Gl.Åsted formodentligt opgivet og avlsbygningerne m.v. flyttet et par km mod syd. Her - på østerholmene umiddelbart øst for Nissum by og syd for Åsted kirke - opførte ridderen Lucas Krabbe o. 1500 det første befæstede stenhus på 9,5 x 7m, i to stokværk over en lav kælder. 1536 opførtes hovedfløjen mod syd med riddersal og portgennemgang. Det ældste stenhus indgår endnu som vestfløjen i det borganlæg, som sønnen Ivar Krabbe med byggerier o.1550 fuldførte til en 4-fløjet borg om en lille gårdsplads på 9x9 m - og med voldgrave og høje, omkransende volde. Inden sin død i 1561 nåede Ivar Krabbe at få kompletteret godset, så han 4.7.1560 kunne få kgl. brev på birkeretten i Åsted sogn. Samtidig fik han også birkeret for Krabbesholm gods i Resen ved Skive. Birketinget i Åsted holdtes umiddelbart øst for kirken. Retterstedet - "Galgehøj" - lå i Gl.Åsted nær det gamle voldsted - og endnu meget synligt på lang afstand. 1688 sammenlagdes herreder og birker i Salling, med fælles tingsted på Bostrup Tinghøj ved Lyby kirke, hvor det gamle sysselting sagdes at være holdt.