Ruby y RailsInstaller: The system cannot find the path specified

Para instalar Ruby on Rails en Windows la mejor alternativa es RailsInstaller. En un clic tienes Ruby, Rails, Git, SQLite, Bundler, DevKit y TinyTDS.
Pero tiene un problema, al menos me he encontrado con él en distintas instalaciones. Cuando ejecutas el comando
rails -v
la consola o intérprete de comandos te devuelve error:
The system cannot find the path specified. El sistema no puede encontrar la ruta.
Lo mismo cuando intentas correr bundle o algún otro ejecutable. [+]