जीवन के उत्तर्राद्ध में पंडितराज ने यवन कन्या लवंगी से विवाह कर लिया। इस कारण, खास कर ब्राह्मणों ने उनकी चतुर्दिक निन्दा की। उन्हें जाति निष्काषित कर दिया गया। उन्हें उपेक्षा झेलनी पड़ी। इस माहौल में वह बुरी तरह आहत हुए। अवसाद की दशा में वह गंगा की शरण में गए। किंवदन्ती है कि गंगा की शरण में बैठकर अपनी रचना गंगा लहरी के एक-एक श्लोक का पाठ वह करते गए। हर श्लोक पर गंगा एक-एक सीढ़ी ऊपर उठती गई। और गंगा मैय्या ने उनके पास पहुँच कर उनका उद्धार किया।
इस किंवदन्ती के नायक पंडितराज जगन्नाथ 17वीं सदी के गिने चुने रचनाकारों में से एक हैं। उन्होंने अपनी कृतियों के माध्यम से संस्कृत साहित्य, दर्शन, साहित्यलोचन और व्याकरण के कोश को समृद्ध किया। अपनी रचनाओं से उन्होंने अमिट छाप छोड़ी। संस्कृत वाङ्गमय पर आज भी उनके प्रभाव को महसूस किया जा सकता है।