Em Sằm Minh Hữu được sinh ra trong một gia đình dân tộc khó khăn thuộc tỉnh miền núi Cao Bằng. Mẹ của em mất sớm do bệnh nặng. Bố em nay ốm mai đau mất sức lao động. Cho nên không có khả năng nuôi em. Vì thế ngay từ nhỏ em đã được gửi xuống sống tại trung tâm bảo trợ tỉnh Cao Bằng.
Tuổi thơ vất vả của Hữu chắc sẽ là những kỷ niệm khó quên theo em suốt quãng thời gian dài sau này. Phải xa nhà từ nhỏ sống trong môi trường tập chung cùng với rất nhiều bạn cũng có chung hoàn cảnh với mình. Mặc dù về vật chất ăn học em không thiếu thốn như khi ở nhà. Vì em được hưởng chế độ của nhà nước. Nhưng cái em thiếu thốn nhất đó là tình yêu thương của người mẹ đã mất và sự dạy dỗ của người cha. Mặc dù biết rằng cha em không đành lòng phải xa con nhưng vì tương lai của con ông đành để con sống tại trung tâm bảo trợ.
Chính những khó khăn, thiếu thốn về tình cảm lại là động lực to lớn giúp em Hữu cố gắng phấn đấu trong học tập. Em đạt được rất nhiều giải cao của trường, của tỉnh, của thành phố và giải thi vật lý cấp quốc gia.
Chọn lựa con đường học đại học sau này của em khiến cho bản thân em rất băn khoăn. Nếu học trường em thích thì sợ không có điều kiện để xuống Hà Nội học. Vì em biết mình và gia đình không có khả năng. Vì vậy em quyết định thi vào học viện kỹ thuật quân sự. Để đảm bảo sự ổn định trong môi trường nhà nước.