Atteinte de la maladie d'Alzheimer, Allie vit en maison de retraite. Chaque jour, Noah lui lit le même livre. Il s'agit du carnet où Allie a consigné sa propre histoire, lorsqu'elle a appris sa maladie. Pour ne pas oublier ses sentiments, elle a écrit, et Noah, inlassablement, lui relit ses propres mots.
A travers eux, on la découvre dans les années trente, éperdument amoureuse d'un jeune homme, Noah, que sa mère fera tout pour éloigner d'elle, sa situation n'étant pas jugée assez bonne.
Après des années de séparation, à la fin de la Seconde Guerre mondiale, Allie s'apprête à épouser un avocat. Lorsque, par le journal, elle apprend le retour de Noah, l'envie lui prend de le revoir. Echappant à une vie de convenance, les deux jeunes gens se retrouvent et découvrent que leur amour est resté intact. Ils passeront le reste de leur vie ensemble, jusqu'à ce que la mémoire les sépare.