sexo sin relacion?

veran, tengo un problema, siempre me plantee en la cabeza el perder la virginidad con un chico que yo quize y quiero mucho, pero ahora no somos novios, de hecho el tiene su novia y yo el mio, pero al momento de estar a punto de tener relaciones con mi novio simplemente no puedo, pienzo en el chico!! no se que deba hacer por que realmente tengo miedo...