Поселился Ворошилов поначалу в угловой комнате второго этажа дома Т. П. Песошниковой на Никольской площади. В комнате жили трое: Ворошилов, Овсей Захарин и Иосиф Йзбицкий. Всего же в доме и флигеле проживало 14 ссыльных. К ним все время приходили другие «поднадзорные», и дом стал центром колонии. Такой «рассадник смуты» не мог остаться без внимания полиции. С точки зрения полиции, Ворошилов очень беспокоен. Он организует протест холмогорской колонии против репрессий в тюрьмах и собирает деньги в пользу пострадавших, он помогает товарищам устраивать побеги, он устанавливает связь с подпольным Красным Крестом, получает деньги на содержание столовой и библиотеки для ссыльных, он ведет обширную переписку. При обыске 21 июня 1910 года полиция отбирает у Ворошилова более 40 писем, а 30 января 1911 года — 128 писем.