14e eeuw

Het blijft betrekkelijk rustig tot 1380. Voor die tijd wordt er vanuit Schuilenburg en de andere kastelen aan de Regge wel geroofd, gebrandschat en geplunderd, maar het kasteel komt niet onder druk te staan.

In 1380 is bisschop Floris van Wevelinkhoven het geroof zat en trekt hij op tegen de kastelen van de Reggelinie, om een eind te maken aan de rooftochten. Alleen Schuilenburg wordt ontzien. Of de familie Van Sculenborg nu niet zo erg was en daarom ontzien werd verteld het verhaal niet. Een jaar later treft het toch hetzelfde lot, maar om een heel andere reden. In 1381 maakt de bisschop Schuilenburg met de grond gelijk. Dit zal wel figuurlijk bedoeld zijn, want muren van 80 centimeter dik sloop je niet zomaar, zeker als het later weer opgebouwd wordt. Ook omdat er in de grachten evenredig gezien geen grote hoeveelheden puin zijn gevonden.