Der Untergrund des Kraichgaus besteht aus Gesteinen des Oberen Muschelkalks, Lettenkeupers und Gipskeupers und wird meist von Löß und Lößlehm bedeckt. Die morphologisch ausgleichende Wirkung der oft mächtigen Lößbedeckung äußert sich in einem sanftwelligen Hügelland mit Höhen um 200–300 m. Der Ausstrich von Unterem und Mittlerem Muschelkalk ist auf die nördlichen und südlichen Randbereiche begrenzt und verhältnismäßig schmal.
Entlang von tektonischen Abbrüchen wird der Kraichgau nach Westen hin staffelförmig tiefer versetzt. Diese Randschollen, noch außerhalb des eigentlichen Oberrheingrabens gelegen, enthalten jüngere Schichtglieder. Im Gebiet um den Eichelberg, bei Weiler, Sinsheim, Odenheim und Eichtersheim tritt auch Mittlerer Keuper auf, der den bekannten Schilfsandstein enthält.
Am Nordwestlichen Rand sind Lias- und Doggerschichten über den Keuperschichten erhalten geblieben. Pfinz, Saalbach, Kraichbach und Angelbach liegen im Einzugsgebiet des Rheins; Elsenz, Leimbach und Böllinger Bach im Einzugsgebiet des Neckars. So finden sich in einer tiefen Scholle der Langenbrücker Senke zwischen Bruchsal und Langenbrücken, am Rand zum Graben, noch jüngere Schichten des Oberem Keuper bis hin zum Schwarzen Jura, dem sog. Posidonien-Schiefer.
Wie der Katzenbuckel an der Südostabdachung des Odenwaldes, so ist auch der 333 m hohe Steinsberg südlich von Sinsheim, ein durch Abtragung herausmodellierte Stumpf eines Vulkanschlots. Nach radiometrischer Altersbestimmung war dieser Vulkan ebenfalls im Paläozän aktiv; sein Alter wird auf ca. 55 Millionen Jahre geschätzt. Weitere vulkanische Zeugnisse im Kraichgau finden sich bei Neckarbischofsheim (Rhein-Neckar-Kreis).