南北戦争が終り、解放された黒人奴隷のジョーは、バーモント近くの激戦地跡で弟サム、従兄ルイ、叔父ボブの3人に出会った。彼らはニューオリンズから船に乗り、故郷のアフリカへ帰るため楽隊でもやって船賃を稼ごうと、ジョーが中心になって演奏を始めた。ボブのクラリネット、ルイのコルネット、サムの太鼓、ジョーのトロンボーンと、繰り返し演奏するうち、曲は軽快にジャズらしくなり、4人は夢中になって来た。4カ月たち、メキシコ商人にだまされた4人は、香港行の船の中だった。ある日、ボブが鳴らなくなったクラリネットを前に、病気で死んだ。ある大嵐のなか、三人はボートで船から逃げ出した。彼らのボートは、駿河湾の庵原藩に打ち上げられた。庵原藩の藩主、海郷亮勝は大の音楽好きで、家老の目を盗んではふところから篳篥を出して吹いている。彼には女らしい文子と、少年のように勇しい松枝という二人の妹がいた。ジョーたち三人は医師、玄斉のところに運び込まれる。亮勝は彼らたちにひとめ会いたいと願うが、家老の石出九郎左衛門は許してくれない。江戸幕府からは、黒人の処分は亮勝に任せるとの命令が入った。亮勝は城の地下座敷牢にジョーたちを入れる。江戸から世継ぎ誕生の知らせが来た。亮勝は喜ぶが、松枝のひと言でそれが不義の子だとわかる。監督不行届を恥じた九郎左衛門は、切腹をすると騒ぎだす。亮勝は切腹と交換にジョーたちと会うことにした。鈴川門之助を通訳に、亮勝はここに流れつくまでの話を聞いた。そして、サムが桶をひっくり返して、火鉢の火箸で叩き始め、ルイがコルネット、ジョーがトロンボーンとジャズ演奏を始める。亮勝はボブのクラリネットを直し、吹き始めた。格子戸を外した座敷牢は、一転、ステージに変わった。ジョーたちの演奏に、城中のものが鼓と横笛、算盤、薩摩琵琶、琴、鍋、釜、桶、三味線などで加わり、大ジャム・セッションが始まった。その上を、江戸に向かう討幕派、彼らと敵対する幕府の兵、百姓一揆たちが駆けぬける。亮勝が彼らのために城を開通させたのだ。やがて夜が明け、新政府軍、殿銃隊が朝もやの中に消えて行った。時は、明治元年！