Dabei war die erste First Lady in der Geschichte der USA aber nicht Ehefrau, sondern Witwe eines Präsidenten: Dolly Madison, verheiratet mit dem 4. US-Präsidenten James Madison (Präsident von 1809-1817), war eine der beliebtesten Frauen in Amerika und blieb auch nach dem Tod ihres Mannes eine zentrale Figur in der Washingtoner Gesellschaft. Als sie 1849 starb, sprach der amtierende Präsident Zachary Taylor von ihr als einer unvergessliche Frau , "because she was truly our First Lady for half a country".

Offiziell lautete der Titel der Frau des Präsidenten aber weiterhin "Mrs President" – bis 1877 der Zeitungsjournalist Clemmer Ames bei einem Bericht über die Amtseinführung von Rutherford Hayes (1877-1881) von dessen Frau als "First Lady" sprach. Seitdem ist der Titel allgemein anerkannt. Er ist aber nicht in der amerikanischen Verfassung verankert.