カチカチのゴムボールと、へにゃへにゃのゴムボールを想像してみてください。同じ力で転がした場合、カチカチのゴムボールの方が遠くへ転がりそうな気がします。
タイヤも同じで、硬いタイヤを作ることで転がり抵抗を軽減すれば燃費が上がります。しかし、ご想像の通り、カチカチのタイヤは燃費があがる一方でロードノイズは大きくなり、乗り心地も悪くなります。よって転がり抵抗はただ少なければ良いというわけではありません。
バランスが非常に難しいのですが、上述の通り各タイヤメーカーがコンピューターシミュレーションや実験によって最適な化合物やタイヤに刻む溝の模様を検証し、転がり抵抗のみならず他の性能を考慮した上で最適化しています。