Da insegnante iniziò come pittore impressionista e di paesaggi, ma risentì anche del puntinismo e dell’arte di Matisse. Tra il 1905 e il 1908 iniziò quella tendenza all’astrazione che lo portò al suo stile più celebrato, fatto di riquadri e colori primari. A questa pittura contribuì l’interesse per il movimento filosofico del teosofismo, fondato da Helena Petrovna Blavatsky, che si basava sulla conoscenza spirituale della natura.
Dal 1912 a Parigi venne influenzato profondamente dal cubismo e, ritornato nel 1914 in Olanda, provò a unire l’arte di Picasso e Braque con i suoi studi filosofici. Nacque così il neoplasticismo, termine che Mondrian iniziò a utilizzare sulla rivista De Stijl, fondata con Theo van Doesburg durante la Prima guerra mondiale. Nel 1919 tornò a Parigi, dove iniziò a dipingere le sue tele più famose, quelle con le griglie e i riquadri colorati. Nel 1938 lasciò la Francia e si trasferì a Londra, ma l’avanzata hitleriana lo spinse ad andare a New York, dove visse gli ultimi anni di vita.