ગંગાધર કહે છે, "મારી માતા, સાળુબાઈ, કેટલાક સવર્ણ ઘરોમાં કામ કરતી હતી. હું ઘણીવાર તેમની પાછળ જતો. દર વર્ષે બે કે ત્રણ વખત તે અને બીજી થોડી મહિલાઓ આ કામ કરતી. ગાયની ગમાણ, આખું ઘર અને આંગણું સાફ કર્યા પછી તેઓ માટીની ભોંયને ગાયના છાણથી લીંપતા. પછીથી ઘરની માલિકણ રાંધેલી દાળ અથવા બેસન ભરેલું વાસણ તેમની સામે મૂકતી. તે 10-15 ભાકરી(ભાખરી) ફેંકતી જે મારી માતા તેની સાડીમાં ઝીલી લેતી. ઘરની માલિકણ ભાકરી આપતી વખતે ક્યાંક ભૂલથીય મારી માને અડી ન જવાય એનું ધ્યાન રાખતી."
બલુતેદારી પ્રણાલી - જાતિ આધારિત એક પ્રણાલી જેમાં દરેક જાતિને તેની ભૂમિકા અને શ્રમ સોંપવામાં આવતા હતા તે મુજબ આ 'માંગકી' - માંગ સમુદાય પાસેથી અપેક્ષિત કામ - હતું. આ સાથે તેઓ અનાજ અને ખોરાકના બદલામાં વાંસની સાવરણી, કણગી અને દુરડી - અનાજ ભરવાના ડબ્બા અને ટોપલીઓ પણ બનાવતા હતા.
પછીથી ગંગાધરના પિતાએ દારૂ બનાવવાનું શરૂ કર્યું હતું જેનાથી થોડાઘણા પૈસા મળતા થયા હતા. "એક દિવસ પોલીસ આવી હતી અને દેશી દારૂ વેચવા બદલ તેમની ધરપકડ કરી હતી. તેઓએ તેમને તેમના લાંબા વાળ કાપી નાખવા દબાણ કર્યું હતું - રિવાજ પ્રમાણે પોતરાજ વાળ લાંબા રાખે છે. અને તેઓએ તેમને દારૂ બનાવવાનું બંધ કરવા માટે કોટવાલનું કામ આપવાની ઓફર કરી હતી."
70 અને 80 ના દાયકાના અંતમાં બાલુતેદારી પ્રથાની જગ્યાએ નવાં માળખાં અસ્તિત્વમાં આવવા લાગ્યા હતા. કોટવાલ એક એવું જ ઉદાહરણ હતું. એક અર્થમાં તે ગ્રામ સેવક હતો. બાલુતેદારીમાં, મહાર અને માંગ આખા ગામની સેવા કરતા હતા. કોટવાલને થોડા પૈસા મળતા હતા અને તે સરકાર અને ગ્રામજનો વચ્ચે કડીરૂપકાર્યકર બન્યો હતો. તેને રાજ્ય દ્વારા નિયુક્ત નોકર કહી શકાય. ગંગાધરના પિતાને આ પદ મળ્યું હતું અને તેની સાથે થોડો દરજ્જો પણ મળ્યો હતો. 'એક ડગલું આગળ વધીને' ગંગાધરના પિતાએ પોતાના બાળકોને શાળામાં દાખલ કર્યા હતા.
બધા બાળકો - ગંગાધર, તેનો મોટો ભાઈ અને પાંચ બહેનો, શાળાએ જવા લાગ્યા હતા. છોકરીઓ 3 જા કે 4 થા ધોરણ સુધી ભણી હતી. પરંતુ છોકરાઓ 10 મા સુધી પહોંચ્યા હતા. તેમણે માંગકીના જાતિગત બોજને નકારી કાઢી એક નવો રસ્તો પસંદ કર્યો હતો. ગંગાધરનો ભાઈ તેના પિતાની જગ્યાએ કોટવાલ બન્યો હતો. ગંગાધર પાસે કોઈ નોકરી કે બીજું કામ નહોતું. તેઓ દાડિયા મજૂરી કરતા હતા અને પોતાના ફાજલ સમયમાં તેમણે ભીમ ગીત - આંબેડકરના જીવન અને કામના ગુણગાન કરતા ગીતો - ગાવાનું શરૂ કર્યું હતું.
ગંગાધરને પહેલેથી જ ગાવાનો શોખ હતો અને તેમનું માનવું છે કે આ શોખ તેમને તેમની માતા અને બહેનો તરફથી મળ્યો હતો. તેઓ બધા અલગ અલગ દેવતાઓની પૂજા કરતા હતા અને વિવિધ દેવતાઓ માટે અલગ અલગ દિવસોમાં ઉપવાસ સહિત અનેક ધાર્મિક વિધિઓનું પાલન કરતા હતા. હકીકતમાં મોટાભાગની મહિલાઓ ઉપવાસ કરીને ખોરાક બચાવતી હતી. "મારી માતા અને બહેનો એક ગોસાવીના અનુયાયી હતા, તેઓ જિંતુર [પરભણીથી 50 કિલોમીટર દૂર આવેલા એક શહેર] ના એક તપસ્વી હતા. તેઓ તેમના શિષ્યો સાથે અલગ અલગ સ્થળોએ ફરતા રહેતા. તેઓ જન્મથી મહાર હતા, તેમણે બૌદ્ધ ધર્મ અપનાવ્યો નહોતો. તેઓ રવિવારે દુરપદા માઈનો, સોમવારે મહાદેવનો અને બુધવારે કૃષ્ણનો ઉપવાસ કરતા હતા."