Το καταστατικό του νέου συλλόγου εγκρίθηκε στις 26 Απριλίου 1926 από το Πρωτοδικείο Θεσσαλονίκης (αριθ. απόφασης 822/26). Η ημερομηνία αυτή θεωρείται και η ληξιαρχική πράξη γέννησης του συλλόγου, αλλά η αγωνιστική του δράση είχε ξεκινήσει ένα χρόνο νωρίτερα. Ως χρώματα της ομάδος επιλέχθηκαν το πένθιμο μαύρο για να συμβολίζει την τραγική περιπέτεια του μικρασιατικού ελληνισμού και το αισιόδοξο λευκό, που θα άνοιγε ένα παράθυρο στο μέλλον. Έμβλημα του συλλόγου, το πράσινο τετράφυλλο τριφύλλι και το πέταλο.
Στις 26 Ιουλίου 1925 ο ΠΑΟΚ δίνει το πρώτο του φιλικό παιγνίδι και ηττάται 2-1 από τον Ηρακλή. Δύο εβδομάδες αργότερα θα συντριβεί από τον Άρη με 5-2. Το πρώτο επαγγελματικό συμβόλαιο της ομάδας υπογράφεται στις 5 Σεπτεμβρίου 1928, με τον ποδοσφαιριστή Ετιέν, που θα εισπράττει 4.000 δραχμές μηνιαίως.
Στις 20 Μαρτίου 1929 ο ΠΑΟΚ συγχωνεύεται με το άλλο προσφυγικό σωματείο της Θεσσαλονίκης, την ΑΕΚ, με πρωτοβουλία του γιατρού Καραμαούνα, προέδρου του πολιτιστικού σωματείου Ένωση Κωνσταντινοπουλιτών. Ο ΠΑΟΚ αλλάζει έμβλημα και στη θέση του τετράφυλλου τριφυλλιού με το πέταλο, υιοθετείται ο Βυζαντινός Δικέφαλος Αετός. Μόνο που ο Δικέφαλος Αετός του ΠΑΟΚ έχει τα φτερά του κλειστά, σε ένδειξη πένθους για τον ξεριζωμό των ρωμιών από την Πόλη.
Το πρώτο έμβλημα του ΠΑΟΚ
Η πρώτη έδρα της ομάδας είναι το γήπεδο Συντριβανίου, που εγκαινιάζεται στις 12 Δεκεμβρίου
1930. Ακολουθεί φιλικό παιγνίδι με τον Άρη, που έληξε με νίκη του ΠΑΟΚ
με 2-1. Ο ΠΑΟΚ συμμετέχει στο τοπικό πρωτάθλημα Θεσσαλονίκης και
αναδεικνύεται πρωταθλητής τις χρονιές 1932, 1939 και 1948, ενώ δίνει το
παρόν και σε ένα τελικό Κυπέλλου Ελλάδος το 1939.Οι χρυσές
σελίδες του ΠΑΟΚ άρχισαν να γράφονται στη δεκαετία του 1950. Οι
ταλαντούχοι παίχτες που έρχονται στην ομάδα (Λέανδρος, Κουρουϊκίδης,
Πρόγιος κ.ά.) καθιστούν πανίσχυρο τον ΠΑΟΚ, που αναδεικνύεται
πρωταθλητής Θεσσαλονίκης το 1955, το 1956 και το 1957, ενώ συμμετέχει σε
δύο τελικούς του Κυπέλλου Ελλάδας (1951 και 1955).Το φθινόπωρο του 1959 ξεκινά το νέο πρωτάθλημα της Α' Εθνικής, με τον ΠΑΟΚ να είναι πανέτοιμος, με ισχυρή ομάδα και νέο γήπεδο στην Τούμπα, που εγκαινιάζεται στις 6 Σεπτεμβρίου. Χτίστηκε σε οικόπεδο 30 στρεμμάτων, που είχε παραχωρήσει το 1957 ο Στρατός στην Τούμπα, μια προσφυγική συνοικία της Θεσσαλονίκης. Στον πρώτο αγώνα του στην Α' Εθνική, στις 25 Οκτωβρίου 1959, ο ΠΑΟΚ νικά τον Μέγα Αλέξανδρο Κατερίνης με 3-1.
Κύπελλο Ελλάδος 1972
Ο
ΠΑΟΚ θα κάνει αισθητή την παρουσία του στο ελληνικό ποδόσφαιρο τη
δεκαετία του 1970. Με παίκτες, όπως οι Κούδας, Σαράφης, Γκουερίνο,
Παρίδης, Τερζανίδης, Ιωσηφίδης κ.α. κατέκτησε το 1972 και το 1974 τα δύο
πρώτα Κύπελλα Ελλάδος και στις 23 Μαΐου 1976
το πρώτο του πρωτάθλημα, σπάζοντας την κυριαρχία των ομάδων του Κέντρου
με προπονητή τον Γκιούλα Λόραντ. Το ίδιο διάστημα έδωσε το παρών σε
πέντε ακόμη τελικούς (1970, 1971, 1973, 1977, 1978). Στην Ευρώπη
ξεχωρίζει η πορεία του στο Κύπελλο Κυπελλούχων την περίοδο 1973-74. Έφθασε ως τα προημιτελικά, όπου αποκλείστηκε από τη Μίλαν (3-0, 2-2).Τη
δεκαετία του 1980 ο ΠΑΟΚ θα κατακτήσει ένα ακόμη πρωτάθλημα (1985), με
τεχνικό τον Βάλτερ Σκότσικ και παίχτες, όπως οι Σκαρτάδος, Κωστίκος,
Δημόπουλος, Ιωσηφίδης και Βασιλάκος. Θα φθάσει σε τρεις τελικούς
Κυπέλλου Ελλάδος (1981, 1983 και 1985). Το 1983 θα έχει δύο αξέχαστες
αναμετρήσεις με την Μπάγερν για το Κύπελλο UEFA, όπου θα πέσει ηρωικά (0-0, 0-0 και 9-8 στα πέναλτι υπέρ των Βαυαρών).Η συνέχεια, όμως, δεν θα είναι ανάλογη. Οι αδύναμες διοικήσεις, τα οικονομικά προβλήματα και ο υπέρμετρος γιγαντισμός των οπαδών, που λύνουν και δένουν στην Τούμπα, καθιστούν τον ΠΑΟΚ από πρωταγωνιστή, κομπάρσο, παρά τις κάποιες επιτυχίες, όπως τα δύο Κύπελλα Ελλάδος (2001 και 2003), τη συμμετοχή στον τελικό του Κυπέλλου Ελλάδας το 1992 και τον αποκλεισμό της Άρσεναλ στο Κύπελλο UEFA το 1997 (1-0 και 1-1).
Ο ΠΑΟΚ, εκτός από το τμήμα του ποδοσφαίρου, διατηρεί τμήματα μπάσκετ, (2 πρωταθλήματα, 3 Κύπελλα και 2 Ευρωπαϊκά Κύπελλα), βόλεϊ, κλασσικού αθλητισμού, κολύμβησης, υδατοσφαίρισης, πυγμαχίας και ποδηλασίας.