विठ्ठलपंत संन्यास घेऊन पुन्हा संसारात आले होते हे गावकऱ्यांना मान्य नव्हते. त्यांना ते पाखंडी, अधर्मी समजत. त्यामुळे त्यांना मुले झाली तेव्हा त्या मुलांची संन्याश्यांची पोरे म्हणुन गावात फार हेटाळणी होत असे. निंदानालस्ती होत असे.आपलं आयुष्य तर खडतर गेलंच पण आपल्या मुलांच्या वाट्याला अशी अवहेलना बघुन विठ्ठलपंत आणि रखुमाई फार दुःखी झाले.
आपल्या मुलांना घेऊन ते तीर्थयात्रेला निघाले दैव दर्शन आणि पुण्यार्जनही झाले असते आणि मुलांना थोडा बदल झाला असता. थोडी मनाला शांती मिळाली असती. ते नाशिकला गेले. पवित्र गोदावरीत स्नान केले. तिथुन पुढे त्र्यंबकेश्वरला गेले. तिथे काही दिवस मुक्काम केला. त्र्यंबकेश्वर हे गोदावरीचे उगमस्थान.आणि तिथेच भगवान शंकराचे ज्योतिर्लिंग आहे.अत्यंत पवित्र तीर्थक्षेत्र.
विठ्ठलपंत आणि कुटुंबीयांनी तिथेच बरेच दिवस मुक्काम केला. एकदा ते तिथुन ब्रह्मगिरीला गेले असताना तिथल्या जंगलात एक वाघ त्यांच्या समोर आला. वाघामुळे ते सर्व वेगवेगळ्या दिशेला पळाले. काही वेळात वाघ निघुन गेला. निवृत्ती सोडुन बाकी सर्व कुटुंब काही वेळाने पुन्हा एकत्र आले. सगळे वाचले होते.पण निवृत्ती मात्र परत आला नाही. जंगलात त्याला शोधूनही तो सापडला नाही. सर्वांना वाटले वाघाने निवृत्तीला मारले असावे.
सुदैवाने निवृत्तीचे सुद्धा प्राण वाचले होते. पण तो जंगलात वाघापासुन लपायला आसरा शोधत असताना एका गुहेत गेला होता. हि गुहा नाथ संप्रदायाचे महान गुरु गहिनीनाथ यांची होती. शंकराला आदिगुरू मानुन योगाची साधना करणाऱ्या महान योगी जनांचा हा संप्रदाय होता. गुरु शिष्य परंपरा हे या संप्रदायाचे वैशिष्ट्य होते. एखाद्या गुरूने दीक्षा दिल्यावरच ह्या संप्रदायात प्रवेश होत असे.
गहिनीनाथांना निवृत्ती हा कोवळा मुलगा गुहेत आल्या आल्या आवडला. त्या मुलात काही खास आहे हे त्यांनी जाणले आणि त्याला नेमके आपल्या गुहेत आणण्याचा नियतीचा काहीतरी विशिष्ट संकेत आहे हे त्यांनी ओळखले. त्यांनी निवृत्तीला आपले शिष्य करून दीक्षा दिली. दिव्य योगज्ञान दिले. अत्यंत लहान वयात निवृत्ती नाथ संप्रदायातले योगी बनले.
गुरूकडून ज्ञान प्राप्त झाल्यावर गुरूच्या परवानगीने निवृत्ती त्र्यंबकेश्वरला आपल्या कुटुंबात परतले. निवृत्ती जिवंत परत आला आणि त्याला वाटेत एवढ्या महान गुरूकडून दीक्षा मिळाली ह्याचा सर्वांना फार आनंद झाला. गहिनीनाथांचा शिष्य आणि नाथ संप्रदायातल्या पद्धतीनुसार निवृत्ती यांचे नाव आता निवृत्तीनाथ असे झाले. काही दिवसांनी विठ्ठलपंत आणि कुटुंबीय आळंदीला आपल्या घरी परतले.