ความสำคัญของเขาแก่นจันทน์ หรือเดิมที่เรียกกันว่า “เขาจันทร์แดง” แห่งนี้ ไม่เพียงเป็นภูเขาสูงที่สุด ในราชบุรีเท่านั้น หากบนยอดเขายังเป็นที่ประดิษฐานพระพุทธนิโรคันตรายชัยวัฒน์จตุรทิศ หรือที่รู้จักกันดีว่า “พระสี่มุมเมือง” อันเป็น 1 ใน 4 พระพุทธรูปที่พระบาทสมเด็จพระเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ ให้สร้างขึ้นแล้วพระราชทานไปประดิษฐานไว้ ณ เมืองต่าง ๆ สี่เมืองสี่ภาคของไทย ได้แก่ ลำปาง สระบุรี พัทลุง และราชบุรี นอกจากจะได้สักการะพระสี่มุมเมืองเพื่อเสริมสิริมงคลแล้ว บนยอดเขายังเป็นจุดชมวิวราชบุรี ที่งดงามอีกมุมหนึ่ง และการขึ้นสู่ยอดเขาแก่นจันทน์นั้นสามารถนำรถยนต์ส่วนตัวขึ้นไปได้อย่างสะดวกสบาย อีกทั้งยังสามารถแวะสักการะพระบรมราชานุสาวรีย์พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราชบริเวณเชิงเขา ที่ชาวราชบุรีได้พร้อมใจกันสร้างในโอกาสฉลองกรุงรัตนโกสินทร์ 200 ปี ตำนานแห่งพระสี่มุมเมือง พระพุทธนิรโรคันตรายชัยวัฒน์จตุรทิศหรือพระพุทธรูปสี่มุมเมืองซึ่งมีอยู่ 4 องค์ในประเทศไทยนั้น สร้างขึ้นตามความเชื่อและโบราณประเพณีของบ้านเมืองที่สืบทอดกันมาตั้งแต่ครั้งสมัยกรุงศรีอยุธยาที่จะต้องมีสิ่งศักดิ์สิทธิ์ปกป้องขอบขัณฑสีมาทั้งสี่ทิศโดยเป็นการสร้างพระพุทธรูปแบบจตุรพุทธปราการทำหน้าที่เป็นปราการทั้งสี่ด้านเพื่อปกป้องภยันตรายจากอริราชศัตรูปัดเป่าสิ่งชั่วร้ายเสริมดวงชะตา บ้านเมืองและคุ้มครองพสกนิกรให้อยู่ร่มเย็นเป็นสุขทั้งนี้ พระพุทธลักษณะของพระพุทธนิรโรคันตรายชัยวัฒน์จตุรทิศเป็นพระพุทธรูปปางสมาธิราบตามแบบศิลปะสุโขทัยมีพระพักตร์แจ่มใสพระเนตรเปิดพระหัตถ์ขวาทับพระหัตถ์ซ้ายพระบาทขวาทับพระบาทซ้ายหล่อด้วยสำริดขนาดหน้าตักกว้าง 49 นิ้วประดิษฐานอยู่ภายในมณฑปจัตุรมุขก่ออิฐถือปูนโครงสร้างสร้างคาเป็นเครื่องไม้มุงทับด้วยกระเบื้องอย่างไทยโบราณบานประตูหน้าต่างและหน้าลงรักปิดทองทั้งสี่ด้านเปิดให้เข้าชมทุกวันเวลา 07.00-18.00 น. (ส่วนประตูด้านล่างทางขึ้นเขาเปิดปิดเวลา 05.30-19.30 น.)
