Συνέλαβε την ιδέα επηρεασμένος από την εμφάνιση του ποδοσφαίρουστους Ολυμπιακούς Αγώνες του 1906, στους οποίους έλαβε μέρος. Ο Καλαφάτης ήταν αθλητής του Πανελληνίου και πιστός εραστής του ποδοσφαίρου. Στον Πανελλήνιο, όμως, καταργήθηκε το ποδοσφαιρικό τμήμα για χάρη του στίβου. Και έτσι ο Καλαφάτης άρχισε να σκέφτεται τη δημιουργία ενός νέου συλλόγου, ο οποίος θα είχε ως βάση το ποδόσφαιρο.
Είναι ο πρώτος οραματιστής της παναθηναϊκής ιδέας και κύριος ιδρυτής του Ομίλου μαζί με άξιους συνεργάτες. Ο Καλαφάτης ήθελε ο σύλλογος που θα ίδρυε, να μην ήταν σαν τους άλλους, τους συνοικιακούς, αλλά να καλύπτει όλη την πρωτεύουσα και σταδιακά να αναπτυχθεί σε όλη την Ελλάδα. Ένα από τα βασικά χαρίσματα του ιδρυτή του Παναθηναϊκού ήταν η διορατικότητά του. Η συνάντηση για την ίδρυση του συλλόγου γίνεται στο Πολύγωνο. Προεδρεύων στην πρώτη συνεδρία των μελών ο Αλέξανδρος Καλαφάτης, αλλά ο άνθρωπος που κινεί τα νήματα
Το δημιούργημά τους έλαβε την έκταση και τη δόξα που το κατέστησαν πανελληνίως δημοφιλές και παγκοσμίως γνωστό.
