Les deux frères Bridau, Philippe et Joseph sont issus de l'heureux mariage d'Agathe Rouget, fille mal-aimée d'un médecin d'Issoudun, enrichi et débauché, avec un intègre chef de bureau, idolâtre de l'Empereur. En 1809, à la mort de leur père, tué à la tâche, début du mélodrame. Ils sont élevés dans un appartement modeste qui « sent la province et la fidélité », entre deux veuves : leur mère qui chérit l'aîné, futur « sabreur », vulgaire et égoïste, tout en méconnaissant le génie de peintre et l'amour filial du second ; et sa tante, Mme Descoings, ex-belle épicière, qui aime les « bons petits plats » et « met à la loterie ». Après 1815, tandis que Philippe, chef d'escadron et officier de la Légion d'honneur, refuse de se rallier aux Bourbons, devient un bonapartiste de café, pompe dans la caisse du journal libéral dont il est caissier, joue, vole son frère, vole sa mère, vole Mme Descoings le jour où elle aurait gagné trois millions, Joseph, seul, pauvre et bon fils, mène une lutte sans merci pour imposer une peinture trop novatrice pour être reconnue. Mme Descoings meurt. Philippe vole des tableaux déposés chez son frère, la mère renie enfin le « fléau de la famille ». Au sortir de l'hôpital des Vénériens, miséreux, il se fait prendre (dupe ou mouchard, on ne sait) dans une conspiration d'officiers. Agathe rentre alors en contact avec sa marraine d'Issoudun, Mme Hochon. Elle apprend ainsi que son frère, Jean-Jacques, parfait abruti qui, à ce qu'on dit, a succédé à son père dans le lit et à la table de la servante de la maison, Flore Frazier (la Rabouilleuse), s'apprêterait à la déshériter au profit de cette maîtresse et de l'amant de coeur de celle-ci, lui aussi ex-soldat de l'Empereur et champion local de l'Opposition, Max(ence) Gilet. Agathe et Joseph partent en Berry, échappent de justesse au piège tendu par Gilet et sa bande des « Chevaliers de la Désoeuvrance » et rentrent à Paris sans avoir rien réglé, tandis que débarque à Issoudun Philippe qui, finalement condamné à cinq ans de résidence surveillée, entend « rattraper la succession » à son exclusif profit. Il effraye Flore qui a la maladresse de vouloir se faire donner par Jean-Jacques une rente pour pouvoir épouser Max à Paris. Mais la procuration nécessaire ne sera jamais signée. Philippe tue Max en duel. Il épouse Flore, veuve de son oncle qu'il a fait achever (par un pâté de foie gras ou une certaine Mlle Lolotte, 17 ans, on ne sait). Il met la main sur le million de la succession, se rallie et devient comte de Brambourg, refuse un quelconque soutien à son frère, ce qui tue une Agathe enfin désillusionnée, élimine Flore, contaminée par une « maladie à faire trembler les médecins », perd beaucoup d'argent en croyant à la solidité du régime en février 1830. En 1839, en Algérie, il meurt au combat, la tête coupée par des yatagans. Joseph, devenu comte et héritier des tableaux familiaux, reçoit « avec modestie les faveurs de la destinée ».
L'intérêt du roman naît de la tension et des interférences entre deux espaces, le parisien et le provincial, chacun jouant à son tour contre l'autre. De plus, le récit est foisonnant en ricochets d'intrigue et en figures originales (Madame Descoings et son « terne », les garnements d'Issoudun, leur victime le marchand de grain Fario, par exemple, sans oublier Flore elle-même, née d'un ruisseau à écrevisses). Ce roman a sûrement aussi valeur de règlement de comptes familial : comment ne pas voir dans le contraste, passionnément excessif, du génial et généreux Joseph et du lamentable et vicieux Philippe, Honoré et Henri, ce demi-frère, tant aimé de Mme Balzac.