Akcja powieści "Co kochałem" rozpoczyna się w 1975 roku w Nowym Jorku, kiedy historyk sztuki Leo Hertzberg, narrator, odkrywa w jednej z galerii w SoHo niezwykły obraz. Zafascynowany, kupuje dzieło, a po jakimś czasie dociera do jego autora, którym okazuje się nieznany malarz William...