Небольшой норвежский приморский городок, название которого остается неизвестным, растревожен появлением эксцентричного чужака, поселившегося на неопределенный срок в местной гостинице и представившегося как Юхан Нильсен Нагель. Его багаж, включающий футляр от скрипки, его желтый костюм и он сам, становятся предметом живейшего интереса местных жителей. Нагель не сообщает о себе точной информации, распускает о себе слухи. Заинтригованное общество, скучающее в своей глуши, пристально следит за ним и пытается завлечь в свои ряды. Нагель, со своей стороны, интересуется ими. Объектами его основного интереса являются местная красавица фрекен Хьеллан, в день объявления помолвки которой Нагель прибыл в город, местный юродивый Минутка, и несчастная женщина Марта Гудэ́.
Нагель влюбляется в Дагни Хьеллан и преследует ее. В первый же день своего пребывания в городке он узнает о местном священнике Карлсене, влюбленном в нее и якобы покончившем жизнь самоубийством, зарезавшись в лесу. Отношение Дагни к Нагелю постепенно меняется, но она не может и не хочет разорвать свою помолвку. Отношение Нагеля к Минутке, тайно влюбленном в Дагни, сначала выглядевшее как сострадание, становится все более сложным. Видения и предчувствия Нагеля заставляют подозревать в нем загадочную и темную личность, убийцу Карлсена и виновника несчастий фрекен Гудэ. Отношение к последней Нагеля, также сначала выглядящее как сострадание и желание помочь материально, претерпевает развитие. Когда Дагни окончательно отказывает ему, Нагель начинает просить Марту выйти за него, та соглашается, однако Дагни убеждает ее покинуть город. Все эти события происходят на фоне малоинтересной провинциальной светской жизни.
Непрерывно развиваясь, переживания и рефлексии Нагеля вызывают в нем душевную и физическую болезнь. В конце концов, он кончает жизнь самоубийством, бросившись в море. В последней сцене романа, через год после смерти Нагеля, идущие по лесу как две лучшие подруги Марта и Дагни вспоминают Нагеля и обсуждают, как он был прав относительно Минутки.
