¿Por qué 'güey' me suena a insulto a veces?

Mi español va mejorando, pero a veces me confundo. Escucho a la gente decir 'güey' todo el tiempo. A veces suena amigable, otras me parece fuerte. ¿Hay reglas o es solo el contexto? Ayuda, porfa.