Die Wurzeln des Schweizerischen Kunstarchivs reichen bis zur Gründung von SIK-ISEA im Jahr 1951 zurück. Die damals begonnene und seither kontinuierlich ausgebaute Sammlung von Dokumenten zur Schweizer Kunst spiegelt die Forschungs- und Dokumentationsprojekte des Instituts: In den ersten Jahrzehnten gelangten die schriftlichen Teilnachlässe von Ernst Stückelberg, Rudolf Koller und Augusto Giacometti als wichtige Schenkungen ins Nachlassarchiv.
In den 1970er Jahren wurde die Dokumentation mit den Sammlungsschwerpunkten Presseartikel und Ausstellungsdokumente aufgebaut und mit dem Archiv des Schweizerischen Künstler-Lexikons (1918–1967) vereint. Bis zum Jahr 2000 kamen Teilnachlässe von Otto Meyer-Amden, Reinhold Kündig, Max von Moos, Hans Fischli und Fritz Pauli hinzu. Seit Anfang des 21. Jahrhunderts wurden dem Archiv wertvolle Bestände vermacht: Der schriftliche Nachlass von Aldo Walker, der Briefnachlass von Karl Geiser, die Korrespondenz der Familie von Giovanni Giacometti sowie Briefe und Skizzen von Otto Meyer-Amden aus Familienbesitz. Zu den jüngsten Zugängen gehört ausserdem das Hodler-Archiv von Carl Albert Loosli als Dauerleihgabe des Musée d’art et d’histoire, Neuchâtel.