Charlie Babbitt espère recevoir un gros héritage à la mort de son père qu'il avait perdu de vue. Mais c'est à Raymond, son frère aîné, placé dans un établissement et dont il ignorait totalement l'existence, que revient toute la fortune. Raymond est un "autiste savant", présentant de graves déficiences mentales dans certains domaines et révélant du génie dans certains autres. Un jour, Charlie enlève Raymond et ensemble, ils entreprennent un voyage d'un bout à l'autre du pays.