ความแปลกตาจากรูปทรงสูงต่ำของเขางูที่ชวนให้นึกถึงภูเขาในจินตนาการ คือความประทับใจแรก ที่สะดุดตาผู้พบเห็น และเมื่อได้สัมผัสลึกซึ้งยิ่งขึ้นจะพบว่าบนภูเขาแห่งนี้กลับมีสถานที่ที่น่าสนใจอีกมากมาย โดยเฉพาะบนยอดเขางูนั้นคือที่ตั้งของถ้ำฤาษี ที่บริเวณปากทางเข้าโดดเด่นด้วยรอยพระพุทธรูปขนาดใหญ่ นั่งห้อยพระบาทในปางแสดงธรรมเทศนาจำหลักบนผนังอันเป็นศิลปะสมัยทวารวดี (ราวพุทธศตวรรษที่ 11-13) หรือที่รู้จักกันทั่วไปว่า พระพุทธฉายถ้ำฤาษีเขางู ว่ากันว่าในยุคสมัยที่มีการสร้างพระพุทธรูปองค์นี้น่าจะ ตรงกับสมัยคุปตะของอินเดียว เนื่องจากบริเวณรอยพระบาทมีจารึกอักษรอินเดียใต้อ่านว่า บุญ วระ ฤษี ศรีสมาธิคุปฺต หมายถึงชื่อบุญพระฤษีคุ้มครองสมาธิ ณ เขางู และเมื่อเดินเข้าไปภายในถ้ำ จะพบกับพระพุทธรูปหินทรายศิลปะสมัยอยุธยาจำนวนมาก นอกจากนี้ ใกล้ ๆ กันกับถ้ำฤาษี สามารถเดินไปสักการะรอยพระพุทธบาทจำลองที่ทำด้วยศิลาแลง รอยพระพุทธบาทนี้สร้างขึ้นเมื่อใด ไม่ปรากฏหลักฐานแน่ชัด หากก็ยังคงมีผู้ศรัทธาเดินทางไปสักการะอยู่เป็นนิจ ขณะเดียวกันบนเขางูยังมีอีกถ้ำหนึ่งที่น่าสนใจไม่แพ้กัน นั่นคือ ถ้ำฝาโถ ซึ่งอยู่ห่างจากถ้ำฤาษีไปทางตะวันตกราว 250 เมตร นอกจากชิ้นส่วนของพระพุทธรูปหินทราย ที่พบภายในถ้ำเป็นจำนวนหลายองค์แล้ว ถ้ำนี้ยังมีไฮไลต์อยู่ที่ภาพพระพุทธรูปปางไสยาสน์ขนาดใหญ่ ที่มีประภามณฑลหลังพระเศียรเหนือขึ้นไปเป็นภาพเทพชุมนุม และภาพปูนปั้นรูปต้นไม้ ด้านทิศเหนือเป็นการ สลักพระสาวกสององค์ โดยในวันขึ้น 1 ค่ำเดือน 11 จะมีการจัดงานนมัสการเป็นประจำทุกปีเปิดให้เข้าชมทุกวันตั้งแต่เวลา 08.00-17.00 น.
