山口県下関市の生まれ。市立下関商業高校を卒業後、中央大学文学部に入学するが中退して、1975年から文学座研究所で演技を学ぶ。テストを兼ねた数回のゲスト出演を経て、79年に日本テレビの刑事ドラマ『太陽にほえろ！』のスニーカー刑事こと五代潤役で本格的に俳優デビュー。当時絶大な人気を誇った同作において、刑事の退場劇とそれに伴う新人刑事の登場は定番のエピソードだったこともあり、山下の初登場回は40.0％の視聴率を獲得。現在までのところ、スリラー・アクションのジャンルでドラマ最高視聴率記録となっている。映画初出演は83年の村川透監督「シングルガール」。続いて同年、当時トップアイドルだった松田聖子主演の「プルメリアの伝説・天国のキッス」にも出演する。さらに、NHK連続テレビ小説『おしん』83などを経て、84年、TBS『スクール☆ウォーズ』で初主演。校内暴力で荒れ果てた高校ラグビー部を熱血指導で全国大会優勝に導いた教師の実話を基にしたドラマで、制作の大映テレビ伝統のケレン味あふれるストーリー展開と山下の熱演が見事にハマり、大人気となる。90年の続編にも主演し、のちに自身でもパロディ的に再現する機会も多く、山下の代名詞的な作品となった。その後も、小松左京原作のSF大作「首都消失」87、金子修介監督のナンセンスコメディ「山田村ワルツ」88などに出演するが、映画ではそれほど目立たず、活躍の場はやはりテレビドラマが中心となる。フジテレビ『ヤヌスの鏡』85、TBS『天使のアッパーカット』86などの大映テレビ制作ドラマに続いて起用されたほか、人気作のTBS『男女７人秋物語』87などでも好演。95年からはフジテレビのミニ番組『くいしん坊！万才』の９代目リポーターとして、お茶の間で親しまれた。ドラマはほかに、NHK大河ドラマ『春日局』89、『徳川慶喜』98、『葵・徳川三代』00、『天地人』09、TBS『となりの芝生』09、日本テレビ『霧の旗』10など。持ち味の力強い演技に加え、このところは、BS-i（現・BS-TBS）『ケータイ刑事』シリーズ02～07、テレビ朝日『富豪刑事』05・06などで熱血キャラを逆手にとったコミカルな芝居も多い。