अतिप्राचीन बैजनाथ महादेव मंदिर मालवा नगर के मध्य स्थित है। कहा जाता है कि पश्चिमाभिमुख मंदिर जितना बाहर से मनमोहक है उतना ही अंदर से आकर्षित है। यहां दूर दूर से भक्त दर्शन के लिए आते हैं। इंदौर,उज्जैन शाजापुर के अलावा राजस्थान से भी भक्त आते हैं। ज्योतिर्लिंगों के अलावा देश के गिने-चुने प्राचीन शिवालयों के रूप में प्रसिद्ध है। बता दे, यह इमारत वर्ष 1984 से पुरातत्व विभाग के अधीन संरक्षित है तथा भूमिज शैली का उत्कृष्ट उदाहरण है। करीब डेढ़ हजार वर्ष पूर्व पाषाण निर्मित मंदिर की ऊंचाई 60 फीट से अधिक है। बताया जाता है कि शिल्प शास्त्र के अनुसार मंदिर के वेदीबंध, जंघा और शिखर बनाए गए है।
इसके अलावा मंदिर पर सुंदर नक्काशी के साथ देवताओं की आकृतियां उकेरी गई हैं। वहीं इस मंदिर को परमारकालीन भी बताया जाता है। जो लोग आगर मालवा के है वो इस मंदिर को उड़िया मंदिर के नाम से जानते है। जानकारी के मुताबिक, किंवदंती है कि कोई तपस्वी अपने तपोबल से इसे यहां उड़ाकर लाया था। ऐसे में इसलिए इसका नाम उड़निया मंदिर रखा गया। लेकिनपुरातत्व विभाग के सूत्रों का मानना है कि प्रदेश में डेढ़ हजार वर्ष पूर्व विभिन्न स्थानों पर निर्मित शिव मंदिरों के स्थापत्य से यह मिलता-जुलता है। इसलिए स्पष्ट बता पाना मुश्किल है कि उड़ीसा में प्रचलित किसी विशेष शैली का अनुकरण यहां किया गया हो। इस मंदिर में भक्तों की हर मनोकामनाएं पूर्ण होती है।
आपको बता दे, मंदिर के पुजारी महादेवपुरी गोस्वामी ने कहा है कि लाखों श्रद्धालुओं की आस्था केप्रमुख केंद्र बैजनाथ महादेव मंदिर के नाम से गुड़ी पड़वा पर नगर परिषद द्वारा परंपरागत मेला लगाया जाता है। समय-समय पर अन्य धार्मिक आयोजन होते हैं। श्रावण मास में प्रत्येक सोमवार को भगवान भोलेनाथ का विशेष श्रृंगार और अभिषेक होता है। विशिष्ट अवसरों पर भांग और पंचमेवा, अक्षत, मावा, पुष्प, बिल्व पत्र आदि से श्रृंगार किया जाता है। शिवलिंग के दर्शन मात्र से लोगों की मनोकामना पूरी होती है। मंदिर के शिखर पर स्वर्ण कलश, सूर्यचक्र ध्वजा, दंड आदि की प्रतिष्ठा वर्ष 2008 में की गई थी। मंदिर में गणेशजी, कार्तिकेय और कुबेर देवता के साथ ही नंदी की भी प्राण-प्रतिष्ठा की गई। मंदिर के आसपास बिखरी मूर्तियों को पेडल पर स्थापित कर जनसहयोग से आकर्षक उद्यान बनाया गया है।