1959年。小説家の伊上洪作(役所広司)は、父・隼人(三國連太郎)の見舞いに行った湯ヶ島の両親の家から東京の自宅に帰ってくる。妻の美津(赤間麻里子)、長女の郁子(ミムラ)、二女の紀子(菊池亜希子)が、伊上の新作小説にせっせと検印を捺している。それはベストセラー作家の家族の大切な仕事であったが、三女の琴子(宮崎あおい)の姿はない。自室にこもって夕食にも降りて来ない琴子に不満を募らせる伊上。深夜、持ち直したかに見えた隼人の訃報が入る。1960年。父亡き後、伊上の妹・桑子(南果歩)が母・八重(樹木希林)の面倒を見ているが、八重の物忘れはますますひどくなっていく。1963年。八重の誕生日に、川奈ホテルに集まる一族。伊上のもうひとりの妹・志賀子(キムラ緑子)、夫の明夫(小宮孝泰)、運転手の瀬川(三浦貴大)、秘書の珠代(伊藤久美子)も参加しての盛大なお祝い会。だが、八重の記憶はさらに薄れていた。1966年。結婚した郁子が赤ん坊を抱いて里帰りした日、湯ヶ島は大騒ぎになっていた。八重が、交通事故に遭って家で療養している明夫を罵倒するというのだ。しばらく伊上が引きとることになるが、八重を冗談のタネにする家族に、琴子が突然怒り出す。さらに話は伊上の子育て批判に発展、紀子までもが初めて父に反抗する。日頃から家族を小説やエッセイのネタにする父への不満が一気に爆発したのだ。琴子の提案で、八重は軽井沢の別荘で暮らし、琴子と瀬川、手伝いの貞代(真野恵里菜)の3人で面倒を見ることに。1969年。伊上が5歳の時から8年間、伊豆の山奥の土蔵で彼を育てた曾祖父の妾・おぬいの五十回忌の法要で、顔を合わせる一族。琴子はプロの写真家になり、瀬川と付き合っている。紀子はハワイへの留学を父に許される。八重は夜に徘徊するようになり、もう誰が誰かも分からなくなっていた。ある朝、おぬいに息子を奪われたという八重の言葉に感情を抑えられなくなった伊上は、初めて母と対決しようと「息子さんを郷里に置き去りにしたんですよね」と問いつめる。しかし、八重の口からこぼれたのは、伊上が想像もしなかったある“想い”だった。こらえきれず、母の前で嗚咽する伊上。母との確執を乗り越え、晴れ晴れとした気持ちで紀子を送るハワイ行きの船に乗りこむ伊上。だが、伊上のもとに八重がいなくなったという知らせが届く……。