Η Αλθέα γεννήθηκε στις 25 Αυγούστου 1927 στην κομητεία Κλάρεντον της Νότιας Καρολίνας.
Οι γονείς της εργάζονταν ως κτηνοτρόφοι σε μια φάρμα βαμβακιού, η Μεγάλη Ύφεση όμως, που έπληξε τους αγρότες του Νότου νωρίτερα από ό,τι μεγάλο μέρος της υπόλοιπης χώρας, υποχρέωσε την οικογένεια να μετακομίσει το 1930 στο Χάρλεμ της Νέας Υόρκης. Η Αλθέα αντιμετώπισε από μικρή δυσκολίες στο σχολείο από το οποίο συχνά έκανε απουσίες. Η ίδια προτιμούσε να παίζει αθλήματα – ειδικά πινγκ - πονγκ. Το εντυπωσιακό είναι πως μόλις ένα χρόνο από όταν έπιασε για πρώτη φορά ρακέτα στα χέρια της, η μικρή Αλθέα κέρδισε ένα τοπικό τουρνουά που χορηγήθηκε από την Αμερικανική Ένωση Αντισφαίρισης, μια αφροαμερικανική οργάνωση που ιδρύθηκε για την προώθηση και τη χρηματοδότηση τουρνουά για μαύρους παίκτες.
Στην αρχή δεν της άρεσε το τένις, ένα άθλημα που πίστευε ότι ήταν για αδύναμους ανθρώπους. Και όμως, σε ηλικία 12 ετών, ήταν η πρωταθλήτρια του τένις στην Πόλη της Νέας Υόρκης για γυναίκες. Στα 13 της, παράτησε το σχολείο και, χρησιμοποιώντας τις δεξιότητες πυγμαχίας που της είχε διδάξει ο πατέρας της, απέκτησε μια καθημερινότητα που αργότερα θα χαρακτήριζε ως «μάχες στο δρόμο». Όπως διηγήθηκε αργότερα η ίδια, εκείνο το διάστημα έπαιζε μπάσκετ με άλλα κορίτσια, και έβλεπε ταινίες.