Τα πρώτα χρόνια προπονητής της ομάδας ήταν ο Γιάννης Ανδριανόπουλος, ο ένας απ’ τους πέντε επιθετικούς της ομάδας, ο οποίος είχε διδαχτεί ποδοσφαιρικές τακτικές και τεχνικές κατά τη φοίτησή του στο Λονδίνο. Όμως στα τέλη της δεκαετίας του ’20 τον Ολυμπιακό ανέλαβαν ξένοι προπονητές, πρώτος ο Τσέχος Γιαν Κοψιβα και ακολούθησε ο Ούγγρος Γιόζεφ Κόβατς, ο οποίος οδήγησε την ερυθρόλευκη ομάδα στην κατάκτηση του πρώτου της τίτλου, του πρωταθλήματος του 1931.
Από κει και μετά ξεκινάει για τον Ολυμπιακό η λαμπρή περίοδος της δεκαετίας του ’30, όπου αναδεικνύονται πρωταθλητές για δυο συνεχόμενες χρονιές (1933 και 1934) και στη συνέχει για τρία συνεχόμενα χρόνια (1936, 1937,1938). Θρυλικοί παίκτες αυτής της περιόδου υπήρξαν οι Βάζος και Θεολόγος Συμεωνίδης.
Στη δεκαετία του ’30 ξεκινάει και η κόντρα με τον αιώνιο αντίπαλο Παναθηναϊκό.
Επόμενη λαμπερή περίοδος για την ομάδα υπήρξε η δεκαετία του ’50, που σαρώνει για έξι συνεχόμενες χρονιές (1954 - 1959) τα πρωταθλήματα. Τις τρεις μάλιστα τελευταίες κατακτά και το Κύπελλο, ενώ ο κόσμος πλέον παραληρεί. Σ’ αυτή τη δεκαετία ο Ολυμπιακός αποκτά το μεγάλο ρεύμα των ορκισμένων οπαδών του και το προσωνύμιο «Θρύλος». Παίκτες ορόσημα της εποχής ο Ανδρέας Μουράτης, ο Μπέμπης, ο Ρωσίδης, ο Υφαντής, ο Κοτρίδης, ο Στεφανάκος και ο τερματοφύλακας Σάββας Θεοδωρίδης.
Κατά γενική ομολογία η επόμενη σημαντική περίοδος στην ιστορία του Θρύλου ήταν οι αρχές της δεκαετίας του ’70 επί προεδρίας Νίκου Γουλανδρή, ο οποίος επένδυσε αρκετά χρήματα και ξανανέβασε την ομάδα στο ύψος που της άξιζε. Απ’ τα ο 1973 μέχρι και το 1975 ο Ολυμπιακός κατακτά τρία συνεχόμενα πρωταθλήματα (το ’73 και το ’75 νταμπλ) με πρωτεργάτες τον «μεγάλο» Λάκη Πετρόπουλο και τους Γιώργο Δεληκάρη, Παναγιώτη Κελεσίδη, Υβ Τριαντάφυλλο και Μιχάλη Κρητικόπουλο.
Το ’79 το ποδόσφαιρο στην Ελλάδα γίνεται πλέον επαγγελματικό. Την τετραετία ’80-’83 ο Ολυμπιακός κατακτά τα τέσσερα πρώτα επαγγελματικά πρωταθλήματα, ενώ μεσουρανούν οι Αναστόπουλος, Γαλάκος, Μητρόπουλος, Νοβοσέλατς και Σαργκάνης.
Επόμενο ορόσημο στην ιστορία του Θρύλου αποτελεί το 1993 όπου αναλαμβάνει την προεδρία της διαλυμένης ομάδας ο Σωκράτης Κόκκαλης και κάνει το θαύμα, καθιστώντας πάλι τον Ολυμπιακό πρωταγωνιστή και κυρίαρχο των ελληνικών γηπέδων. Με προπονητή τον επιτυχημένο Ντούσαν Μπάγεβιτς και παίκτες τους Τζόρτζεβιτς, Γιαννακόπουλο, Καραπιάλη, Αλεξανδρή, Γεωργάτο και πολλούς ακόμη ξεκινάει μια νέα λαμπρή περίοδος για το Θρύλο, καθώς καταρρίπτει το προσωπικό του ρεκόρ, κατακτώντας επτά συνεχόμενα πρωταθλήματα απ’ το 1997 ως το 2003. Το 1999 οι ερυθρόλευκοι κατακτούν το Κύπελλο.