Hijo de la actriz Elyse Knox y del legendario jugador de football americano Tom Harmon, Mark se destacó en ese mismo deporte mientras estudiaba periodismo en la Universidad de California, pero luego prefirió seguir los pasos de su madre.
Comenzó su carrera con roles menores en telefilms hasta conseguir su primer papel importante en Come as a horseman (1978) de "Alan J. Pakula". Este apuesto actor es mayormente conocido por sus trabajos en la televisión, ya que integró los elencos de series exitosas como Vacaciones en el mar, Luz de luna, Reasonable doubts (donde se lució junto a la actriz sordomuda "Marlee Matlin") y más recientemente El ala oeste de la Casablanca y Navy NCIS.
Fue especialmente aclamado por su trabajo en St. Elswhere (1986-1989), donde interpretó a un médico enfermo de SIDA. Entre otros muchos títulos, Harmon apareció en El príncipe de Bel Air (1987), Summer school (1988), Stealing home (1989), Dillinger (1991), La sombra de una duda (1991), "Wyatt Earp" (1994), Asesinos por naturaleza (1994), Magia en el agua (1995), Pánico y locura en "Las Vegas" (1998), For all time (2000) y "Freaky Friday" (2003).
Ha llegado a dirigir varios capítulos en series como en Boston Public o Chicago Hope en el 2000.