Das Wort ist zusammengesetzt aus dem griechischen Wort philos (=Freund) und dem ebenfalls griechischen Wort ateleia (=Gebührenfreiheit). Im 19. Jahrhundert kam das Wort in Frankreich auf und gelangte von dort nach Deutschland. Passende deutsche Begriffe könnten Briefmarkensammeln oder Briefmarkenkunde sein.

Die Philatelie beinhaltet vor allem ein systematisches Zusammensuchen und Sortieren von Briefmarken und anderen postalischen Dokumenten. Wegen der großen Fülle an Sammelobjekten werden üblichweise von den Sammlern nicht sämtliche Briefmarken gesammelt, sondern nur mehr oder weniger große Teilbereiche, z.B. ein bestimmtes Land, ein Motiv, nur Briefe oder nur gestempelte Marken. Viele Philatelisten sind in Briefmarkenvereinen organisiert.