उनकी मां सालुबाई सवर्ण घरों में काम करती थीं. “मैं अक्सर उनके पीछे-पीछे जाता था,” वे बताते हैं. “साल में दो-तीन बार वे और कुछ औरतें बड़े घरों में झाड़ू लगातीं, गौशाला साफ़ करतीं, आंगन लीपतीं. फिर घर की मालकिन उनके सामने दाल या बेसन का भरा बर्तन रखती और 10-15 भाकरियां दूर से उनकी साड़ी में उछाल देती – इस तरीक़े से कि वह उनके स्पर्श से दूर रहे.”
बलुतेदारी व्यवस्था (जाति-आधारित व्यवस्था, जिसमें हर जाति का काम निर्धारित था) में यह काम ‘मांगकी’ कहलाता था, जो मांग समुदाय से अपेक्षित था. इसके साथ, वे अनाज और खाने के बदले में बांस की झाड़ू, कनगी और अनाज रखने की दुरड़ी भी बनाते थे.
बाद में गंगाधर के पिता ने देसी शराब बनाना शुरू किया जिससे कुछ आमदनी होने लगी. “एक दिन पुलिस आई और उन्हें पकड़ लिया. उसने जबरन पोतराज की पारंपरिक लंबी जटाएं कटवा दीं, जो पोतराज के लिए रखनी ज़रूरी होती हैं. बदले में उन्हें कोतवाल की नौकरी दे दी गई, ताकि वे शराब बनाना बंद कर दें.”
यह 70-80 के दशक का समय था जब बलुतेदारी प्रथा ढह रही थी और नई व्यवस्थाएं बन रही थीं. कोतवाल गांव और सरकार के बीच कड़ी था - एक तरह का वेतनभोगी ग्राम सेवक. बलुतेदारी व्यवस्था में महार और मांग पूरे गांव की सेवा करते थे. कोतवाल को थोड़ी-सी राशि दी जाती थी और वह सरकार तथा गांववालों के बीच की एक कड़ी था. उन्हें राज्य द्वारा नियुक्त किया गया सेवक भी कहा जा सकता था. गंगाधर के पिता को यह पद मिला और इस नौकरी के साथ थोड़ी प्रतिष्ठा भी मिली. समाज में 'एक सीढ़ी ऊपर चढ़कर' उन्होंने अपने बच्चों को स्कूल में डाला.
घर के सभी बच्चे - गंगाधर, उनके बड़े भाई और पांचों बहनें - स्कूल जाने लगे. बहनें तीसरी-चौथी तक पढ़ीं, लेकिन दोनों भाई दसवीं तक पहुंचे. उन्होंने मांगकी की जातिगत व्यवस्था को ठुकराकर नया रास्ता चुना. भाई पिता की जगह कोतवाल बने. गंगाधर के पास नौकरी नहीं थी. वे मज़दूरी करते और खाली समय में भीम गीत गाने लगे, जो आंबेडकर के जीवन और कार्य पर आधारित होते थे.
गंगाधर को बचपन से ही गाने का बहुत शौक़ था. उनका मानना है कि यह गुण उन्हें अपनी मां और बहनों से मिला. वे सब अलग-अलग देवताओं की पूजा करती थीं और अनेक व्रत-उपवास रखती थीं. अलग-अलग दिनों में अलग देवताओं के लिए उपवास होता था. सच तो यह है कि गांव की बहुत-सी महिलाएं उपवास के बहाने भोजन बचाती भी थीं. “मेरी मां और बहनें जिंतूर [परभणी से लगभग 50 किलोमीटर दूर एक क़स्बा] के एक गोसावी की अनुयायी थीं. वह अपने शिष्यों के साथ जगह-जगह घूमता था. जन्म से महार था, लेकिन उसने बौद्ध धर्म नहीं अपनाया था. वे रविवार को धुरपदा माई के लिए, सोमवार को महादेव के लिए और बुधवार को कृष्ण के लिए व्रत रखती थीं.”