江口は大学生の頃、卒論を書くために、一夏をある古びた運河の町で過ごした。そして、月日が流れ、その町が火事で焼けたことを知った彼は回想をはじめる。江口が親戚から紹介された宿泊先、貝原家を訪れると出迎えたのはまだ少女の面影を残す娘・安子だった。その夜、寝つかれぬまま彼は、波の音、櫓の音、そして女のすすり泣きを耳にする。次の日、江口は安子の祖母・志乃に紹介されるが、一緒に暮らしているはずの安子の姉・郁代は姿を見せない。ある日、貝原家から農業学校に通っている青年・三郎の漕ぐ舟で江口は安子と出かけた。町がすっかり気に入ったという彼に、「この町はもう死んでいるのよ」といつも快活な安子が、暗い微笑を浮かべるのだった。その帰り、江口は郁代の夫・直之を紹介された。安子の母の十三回忌が行なわれた。江口はその席で、直之からもこの町が死んでいるという言葉を聞く。その夜、彼は直之と安子がひっそりと話しているのを見た。次の日、母親の墓参りに出かけるという安子に付き合った江口は、その寺で郁代に出会う。安子の話だと、郁代が寺に移ってから直之も他に家を持ち、秀という女と暮らしているとのことだった。何故、郁代が家を出たのかは安子は話したがらない。水神様のお祭りの日、江口は直之からその理由を知った。郁代は直之が他の女を愛していると思って、自分から逃げて行ってしまった。直之は郁代を今でも愛しているという。そして八月の末、ある事件が起こった。直之が秀と心中をはかったのだ。通夜の席で、郁代は直之が愛していたのは安子だったことを知る。二人を幸福にしてやりたいから、尼寺に入るつもりで寺に入ったと告げる。しかし、安子は兄さんは姉さんを愛していたというのだった。郁代は「あんたが好いとったのは誰やった？」と泣きくずれる。夏も終わりに近づき、卒論を仕上げた江口は、安子と三郎に見送られて列車に乗り込んだ。別れ際、三郎の言葉で江口は安子を愛していたことに気づくが、今ではもうおそかった。そして彼は町が崩れていく音を聴いたように思うのだった。