D'abord poète, il participe en 1916 à Zurich à la fondation du mouvement Dada. Il illustre plusieurs ouvrages de la collection "dadas", comme Le Passager du Transatlantique de Benjamin Péret, Vingt Cinq Poèmes de Tristan Tzara et un ouvrage de Richard Huelsenbeck. Il commence à sculpter en 1917.

Le 20 octobre 1922, il épouse Sophie Taeuber-Arp qu'il a connue à Zurich.
Ses premières oeuvres de plâtre et de marbre datent de 1930. Il réalise des reliefs en bois peints, broderies et papiers collés. En 1925, il s'installe à Clamart, à l'orée de la forêt de Meudon, dans une maison-atelier dont Sophie Taeuber a dressé elle-même les plans.1 Il participe aux activités des surréalistes et fréquente les peintres abstraits de Cercle et Carré. Un poème lui est dédié dans Capitale de la douleur du surréaliste Paul Éluard.
Arp est à l'origine d'un vocabulaire de signes aux allusions figuratives et ironiques. À partir de 1930, la sculpture en ronde-bosse prend une place importante dans son oeuvre.
A Strasbourg, entre 1926 et 1928, il participe à la transformation de l'Aubette, en collaboration avec sa femme et avec l'artiste néerlandais Theo van Doesburg.

En 1954, il reçoit le Prix international de la sculpture à Venise.
Un grand nombre de ses oeuvres sont aujourd'hui exposées au musée d'art moderne et contemporain de Strasbourg, qui lui consacre un espace central.
Son nom a également été donné à la place servant de parvis à ce musée, ainsi qu'au bâtiment de l'École nationale d'administration.

Sa deuxième épouse a fait de la maison-atelier de Clamart la fondation Arp ouverte en 1979.
Ses derniers mots ont été : "Je vous aime tous et je m'en vais maintenant rejoindre ma Sophie."