Une fois l'unité militaire restaurée, Abd al-Malik s'attelle à une tâche encore plus ambitieuse : donner à son empire une administration et une identité propres. Il lance alors un vaste programme d'arabisation.
L'arabe, langue de l'administration
Jusqu'alors, les registres fiscaux et administratifs (diwan) étaient tenus en grec dans les anciennes provinces byzantines (Syrie, Égypte) et en pehlevi (moyen-perse) dans les territoires conquis aux Sassanides (Irak, Perse). Vers 697, Abd al-Malik décrète que l'arabe deviendra la seule et unique langue de l'administration. Cette décision, révolutionnaire, crée un besoin urgent de fonctionnaires maîtrisant l'arabe écrit et standardise les pratiques à travers l'empire.
La réforme monétaire et l'affirmation de la foi
Parallèlement, le calife réforme la monnaie. Il remplace les dinars d'or et les dirhams d'argent, qui imitaient les monnaies byzantines et sassanides avec leurs effigies impériales, par une nouvelle monnaie purement épigraphique. Ces nouvelles pièces, frappées à partir de 696-697, ne portent aucune image, mais des inscriptions en arabe, incluant des versets du Coran et la profession de foi islamique (shahada). C'est un acte politique et religieux fort, affirmant l'indépendance et l'identité islamique de l'empire.