लोगों का कहना है कि पूनमचंद यादव ने अपने जीवन में काफी संघर्ष किया है. उन्होंने बेटे नंदू यादव, नारायण यादव, मोहन यादव और बेटी कलावती, शांति देवी को पढ़ाया-लिखाया. संघर्ष के दिनों में उनके पिता रतलाम से उज्जैन आ गए और सबसे पहले हीरा मिल में नौकरी की.