Ефрем Ворошилов был своенравным, беспокойным человеком. Нанимаясь на самую разную работу, он нигде не уживался подолгу. Не мирился с обидами и несправедливостями, а сыпалось их на голову наемного работника множество: и со стороны хозяев, и от слуг их. В таких случаях Ворошилов-старший давал отпор сразу и в результате оставался без места. Можно отметить, что эта же черта — нежелание молча переносить обиды и несправедливость — присуща и Климу Ворошилову. Неуступчивость Ефрема Ворошилова часто приводила к тому, что ему приходилось подыскивать новое место работы, нередко вдали от жены и детей. Семья бедовала в такие периоды особенно. Детей было пятеро: старше Клима — брат Иван и сестра Катя, младше — Анна и Соня. В отсутствие отца все заботы о большой семье ложились на плечи матери, и она нанималась работать то прачкой, то кухаркой.