Eduard Graf von Keyserling wird im Mai 1855 auf dem Gut Tels-Paddern in Kurland geboren. Ob das zweifellos imposante Gutshaus - wie vielfach genannt - den Titel "Schloss" verdient, sei dahingestellt.

Als Geburtsdatum wird im Matrikel der Universität Dorpat der 2. Mai 1855 genannt. Dieses Datum findet auch in anderen alten Quellen, im Album Academicum des Jahres 1889 und im Album Curonorum von 1903. Das Album Curonorum ist das Mitgliederverzeichnis der Studentenverbindung Curonia. Eine Kopie des Dorpater Matrikels existiert im Herder-Institut in Marburg. Bei dem 2. Mai handelt es sich um ein julianisches Datum, es entspricht dem 14. Mai 1855 nach dem gregorianischen Kalender.

Die gelegentlich genannten falschen Geburtstage beruhen vermutlich auf einer fehlerhaften Umrechnung vom julianischen zum gregorianischen Kalender. Stülpnagel nennt in seiner Disseration von 1926 den 12. Mai. Otto von Taube nennt (1954) den 15. Mai, der z. B. auch im "Who is Who" von 1912 zu finden ist. Im Literaturlexikon von Walther Killy steht der 18. Mai, aber dort ist auch der Geburtsort falsch benannt.

Sein Großvater war Heinrich Diedrich Wilhelm von Keyserling (1775-1850), 3. Graf von Rautenburg. Er war Jurist, Landespolitiker (Kreismarschall in Tuckum, Landbotenmarschall) und seit 1807 Besitzer des Ritterguts Kabillen, 20 km östlich von Goldingen.

Sein Vater Eduard Ernst Hermann Graf von Keyserling (1809-1876), ebenfalls Jurist, war Assessor beim Hauptmannsgericht in Mitau bevor er sich der Verwaltung der Güter widmete. Sein ältester Bruder, der 4. Graf von Rautenberg, war Reichsgraf Otto Ulrich Johann Graf von Keyserling. Er war ebenfalls Jurist, Abgeordneter des Reichstags, Mitglied des Frankfurter Parlaments und des preußischen Herrenhauses. Auch drei andere Brüder waren Juristen, lediglich der jüngste, Alexander von Keyserling (1815-1891) war bekannter Naturforscher.

Eduard von Keyserling wurde als zehntes von zwölf Geschwistern geboren. Er hatte sechs ältere Schwestern. Die älteste, Henriette (1839-1908), lebte bis zu ihrem Tod mit ihm in München, ebenso seine Schwester Elise (1842-1915). Anschließend, bis zum seinem Tode 1918, lebte dann seine Schwester Hedwig (1844-1925) mit ihm zusammen. Alle drei waren unverheiratet.