Après avoir suivi l'enseignement de l'IDHEC, il fit ses armes en réalisant bon nombre de films publicitaires. Il obtient l'oscar du meilleur film étranger en 1976 pour son premier film, la Victoire en chantant. Jean-Jacques Annaud est alors sollicité pour réaliser Coup de tête écrit par Francis Veber et interprété par Patrick Dewaere.

Il s'attaque ensuite à des projets coûteux et ambitieux tels que la Guerre du feu (1981) ou bien encore l'Ours (1988) et fait montre d'un savoir-faire de technicien solide quand il adapte Le Nom de la rose d'Umberto Eco en 1986) ou l'Amant de Marguerite Duras en 1992.

Annaud, bien que souffrant trop souvent d'une mauvaise presse, est toutefois réputé pour être perfectionniste et un technicien hors pair, s'attachant à superviser lui-même chaque étape de la fabrication de ses films (et de leur portage sur DVD).