Par sa situation géographique, Dieppe est tournée vers la mer. Il en résulte que la navigation et la vie maritime demeurent des sujets majeurs dans les documents patrimoniaux de l'établissement.
La quasi-totalité des manuscrits de la bibliothèque ont fait partie des collections de l’abbé Cochet, de P.J. Feret, d’Edouard Le Corbeiller et de Camille Saint-Saëns.
En 1782, l'imprimeur Jean-Baptiste Dubuc fonde un cabinet littéraire avec l'autorisation du maire et des échevins de la ville.
Cependant, comme pour l'ensemble du territoire français, on assiste dans la première moitié du XIXe siècle à la création de la première bibliothèque de Dieppe (1827).
La bibliothèque est alors localisée dans une des grandes salles du collège fondée en 1614 par les Oratoriens, à l'emplacement de la maison de l'armateur Jehan Ango. Comme dans bien d'autres villes, les confiscations révolutionnaires (dispositions du décret du 8 pluviôse an II-24 janvier 1794), forment le premier fonds de la bibliothèque. Les bibliothèques des couvents intéressent le Directoire du département qui délègue des officiers municipaux dieppois pour établir un inventaire de tous leurs livres. Les collections ayant appartenu aux Minimes, Capucins, Jésuites et Oratoriens trouvent donc place au collège après avoir été entreposées, dans un premier temps, dans les greniers de l'Hôtel de Ville.
En 1842 l'ensemble des collections est estimé à 5000 volumes, année durant laquelle la bibliothèque déménage vers le second étage de l'Hôtel de Ville, lui-même, situé depuis 1867 dans l'ancienne résidence des Jésuites.
La bibliothèque cohabite alors avec le musée jusqu'en 1923, date à laquelle ce dernier va occuper le château. Pendant cette période, le directeur de la bibliothèque est en même temps conservateur du musée.
La destruction de l'Hôtel de Ville en 1942 entraîne une période difficile pour la conservation des collections qui ne trouvent un écrin adéquat qu'en 1982 avec la création du Centre d'Action Culturelle Jean Renoir.
