千葉県市川市の生まれ。本名・大島明子（旧姓・臼井）。東京市本郷区（現・東京都文京区）で育ち、第二次世界大戦下、空襲で家を焼かれたため母の実家がある大阪府池田市に疎開する。さらに埼玉県入間郡鶴瀬村（現・富士見市）に疎開先を移して終戦を迎え、戦後すぐに神奈川県横浜市に移り住む。1946年、母が死去。四男二女の末子ながら家事一切の面倒を見ることになり、早くも自立への芽を育む。53年、神奈川県立鶴見高校を卒業後、ファッションデザイナーを目指して洋裁の名門校・大谷学園に入学。翌54年、学園内のファッションショーに出演すると、その美貌が話題となり、『家庭よみうり』のカバーガールに起用されて、これが松竹の目に留まる。父の友人だった松竹の城戸四郎社長との縁もあって、55年１月、大船撮影所の専属として松竹に入社。同年３月、堀内正直監督「ママ横をむいてて」の中村メイコの親友役で早くも女優としてデビューする。続いて堀内監督「新婚白書」、中村登監督「あこがれ」、野村芳太郎監督「太陽は日々に新たなり」にも助演し、松竹大船伝統のメロドラマがお似合いの清純型のお嬢さん女優として順調に売り出される。56年に松竹の看板女優・草笛光子、淡路恵子、淡島千景、57年には野添ひとみ、岸惠子が相次いで退社し、小山に飛躍のチャンスが訪れるが、55年に入社した有馬稲子の猛進撃と56年入社の杉田弘子の急成長にいささか影を薄くし、56年も野村監督「角帽三羽烏」、酒井辰夫監督「晴姿稚児の剣法」、番匠義彰監督「駄々っ子社長」「ここに幸あり」前後篇など、相変わらず準主演、助演に終始する。だが57年、田畠恒男監督「家庭教師と女生徒」に主演して以降、ようやく盛り返す。同じく田畠監督「花は嘆かず」では報われぬ愛に泣くヒロインを熱演。大庭秀雄監督「天使の時間」のヒロインを経て、「勢揃い桃色御殿」では近衛十四郎、「悪魔の顔」では田村高廣と共演。同年、岡田茉莉子が大船に加わり、「青い花の流れ」では岡田の妹役で、有馬、岡田に次ぐ松竹の中心女優としての地位を確立する。しかし、主演女優といってもお人形さんのような役であり、Ｂ級作品ばかりで松竹メロドラマ女優の典型として終始し、個性に乏しく受ける印象も薄かった。59年、「真夜中の処女」で森三樹を相手に麻薬に冒され殺人に至るバーのマダムに扮して、初めてと言っていい汚れ役を演じる。「痛快なる花婿」では夫を尻に敷く腕ききのセールスウーマンを、高橋治監督「彼女だけが知っている」では暴行魔に襲われた刑事の娘を演じるなど、役柄の幅を広げた。高橋の第２作「死者との結婚」60では、遭難した船の客と間違えられて莫大な遺産を相続したものの、良心の呵責と昔の男の脅迫に悩むという複雑な役を演じ、演技派への成長をうかがわせた。しかし、あたら大器をもてあましていた彼女を演技派女優としてスクリーンにしっかりと刻みつけたのは、大島渚だった。彼女と大島との出会いは、小山の第２作「新婚白書」55に大島が助監督についたことに始まり、以来、このスター候補生と新進助監督との秘めたる恋は深く静かに進行。理論家でもある大島の全人格的影響は女優・小山明子の開眼を促し、60年10月30日、社会党の浅沼稲次郎議員刺殺事件のあおりを受けて大島の「日本の夜と霧」が封切４日にして上映中止になった直後に結婚式を挙げる。翌61年６月には松竹から連袂退社することとなり、同10月、大島を代表に、脚本家の田村孟、佐々木守、俳優の渡辺文雄、戸浦六宏、小松方正を加えて“創造社”を創立。ここを拠点に60年代から70年代にかけて、夫婦である以上に同志として協働が続く。大島作品では、「飼育」61で東京からの疎開者、「白昼の通り魔」66で農村の中学教師、「日本春歌考」67で生徒に犯される高校教師、「絞死刑」68で主人公・Ｒ少年の幻想の恋人役と、節目節目で単なる美人スターから完全に脱皮した役柄で熱演し、その頂点とも言うべき「少年」69では当たり屋一家の貧しくも見栄っ張りな母親に扮して、毎日映画コンクール女優助演賞を受賞。この間、大映の「三代の盃」62、「続・兵隊やくざ」65で勝新太郎、「陸軍中野学校」68で市川雷蔵、東映の「関東流れ者」65で鶴田浩二、「昭和残俠伝・人斬り唐獅子」69で高倉健など、スター男優の相手役も順調にこなしている。また正義派の女検事ぶりが好評だったフジテレビ『検事』61～62以降のテレビ出演もあり、大島の女房役として創造社の財政面に大きく貢献したのである。70年代に入ってからも、「儀式」71で戦後日本を象徴する大家族のしがらみで自死する母親、「夏の妹」72で沖縄の母性を代表する白衣の女丈夫と大島作品に出演する一方、大映「おんな極悪帖」70、東宝「喜劇・おめでたい奴」71、東映「銀蝶渡り鳥」72に出演。73年７月に創造社が解散後も、大島の日仏合作「愛のコリーダ」76で芸者役、「愛の亡霊」78では旧家の女主人役で貫禄の助演。このほか、伊藤俊也監督「犬神の悪霊（たたり）」77、西河克己監督「霧の旗」77、横山博人監督「卍」、河崎義祐監督「プルメリアの伝説・天国のキッス」83、三村晴彦監督「瀬戸内少年野球団・青春編／最後の楽園」87などコンスタントに映画出演は続くが、ほかのベテラン俳優たちと同じように、活躍の中心としてはテレビ出演がますます増えるようになっていく。テレビドラマの代表作は、明治中期の大阪を舞台に呉服問屋の人間模様を描いたフジテレビ『あかんたれ』76～78。小山は呉服問屋・成田屋の女将・ご寮はんを好演した。ドラマはほかに、NHK『うなぎ繁盛記』65、『冬の祝婚歌』80、『真田太平記』85、『海峡』07、日本テレビ『道頓堀』68、『妻の悲劇』81、『高校野球殺人事件』82、『母娘・愛すればこそ』89、『再婚旅行』91、『クラスメート』93、TBS『犬神家の一族』77、『ふたりの母』80、『懲りない女房たち』87、フジテレビ『徳川の女たち』80、『大奥』83、『悪女伝説殺人事件』92、『三人の女』93、テレビ朝日『危険な愛情』80、『生きる』81、『燃えた花嫁』83、『誘われて二人旅』86、『ビバ・ブラジル』87、テレビ東京『織田信長』94など多数。また舞台も多く、69年の『道頓堀』以降、花登筐作品に多く出演。舞台でも『あかんたれ』77の女将が当たり役となり、再演三演を繰り返した。ほかには、帝国劇場『草燃える』80、南座『梅咲きぬ』81、名鉄ホール『おけらの花道』84、御園座『序の舞』84、『風流深川唄』91、明治座『あんぽんたん物語』82、『お吟さま』85、『夜の河』86、『湯島の白梅』94、芸術座『芝桜』86、日生劇場『花月亭の女たち』87、東京宝塚劇場『深川さくら茶屋』88、梅田コマ劇場『母恋道中旅日記』91など多数がある。96年に夫・大島が脳出血で倒れてからは、拘束時間の長い女優業から距離を置き、夫の介護に専念。介護疲れから一時、うつ病となるが克服した。現在は介護をテーマとした講演会の講師やコメンテーター、執筆を中心に活動している。主な著作に、日本文芸大賞エッセイ賞を受賞した『パパはマイナス50点』のほか、『いのち、輝く！』『小山明子のしあわせ日和』など。