Sein Vater Johann Georg stammt aus Steyr und war Schullehrer in Ruprechtshofen (Bezirk Melk), wo Randhartinger am 27. Juli 1802 auf die Welt kommt. Sein Talent wird bereits durch das Elternhaus gefördert, wo er Sing-, Violin- und Klavierunterricht erhält. 1812 tritt er bei den Hofsängerknaben in Wien ein, wo er Franz Schubert kennen lernt. Antonio Salieri (1750-1825) erkennt sein Talent und fördert ihn, indem er ihm kostenlos Kompositionsunterricht erteilt.
Ab 1822, als er gerade einmal 20 Jahre alt ist, werden Randhartingers Kompositionen veröffentlicht. Nachdem er zunächst Tenorsänger in der Hofmusikkapelle ist, wird er 1862 zum k.k. Hofkapellmeister ernannt, was den Höhepunkt seiner Karriere markiert.
Von Randhartinger sind mehr als 2.000 Werke überliefert, darunter über 800 Lieder und Chöre, 17 Messen für Soli, Chor und Orchester, zwei Opern, zwei Symphonien und zwei Requien. In der Biedermeierzeit zählt er neben Schubert zu den bekanntesten Komponisten Wiens. Am 23. Dezember 1893 stirbt er in Wien.