מאן נולדה בווירג'יניה והייתה הילדה השלישית והבת היחידה במשפחתה. אביה רוברט מאנגר היה רופא ואמה אליזבת' מאנגר ניהלה את חנות הספרים באוניברסיטה המקומית. מאן סיימה את לימודיה בבית הספר בשנת 1969 והחלה ללמוד בקולג'. היא סיימה את לימודיה כM.A בכתיבה יוצרת בשנת 1975 מבנינגטון קולג'. באותו זמן היא החלה גם לצלם, וצילומה הראשון, צילום עירום של חבר ללימודים, פורסם בבית הספר שבו למדה. אביה עודד אותה לצלם, ומצלמתו גדולת הפורמט היוותה הבסיס לשימוש שלה במצלמות פורמט גדול כיום.