Una de las relaciones más públicas de Taylor. La pareja fue vista regularmente en la ciudad de Nueva York y Los Ángeles. Se rumorea que la brecha de edad de 10 años de la pareja simplemente no estaba funcionando, así que Jake la dejó. Se dice que "The Last Time" con la letra "Pon mi nombre en la parte superior de tu lista" trata sobre este romance. "All Too Well", que documenta la infame situación de las bufandas, también trata sobre Gyllenhaal. Esta canción hace referencia a una serie de detalles específicos de su relación, incluido un viaje en automóvil al norte del estado de Nueva York y una cena de Acción de Gracias en la casa de Maggie Gyllenhaal. En el primer verso, Swift hace esta fascinante afirmación: "Dejé mi bufanda ahí en la casa de tu hermana. Y todavía la tienes en tu cajón incluso ahora" hasta el final dramático "Ahora envías mis cosas y yo camino sola a casa. Pero te quedas con mi vieja bufanda de esa primera semana porque te recuerda a la inocencia y huele a mí ". Gyllenhaal ha sido fotografiado en varios años usando la bufanda de Taylor, para diversión y confusión de los fanáticos de Swift.