Ces cas répondent à la règle générale des accords, il s'agit de distinguer de quel verbe dépend le COD.
Si le COD est rattaché au verbe sous forme de participe passé, celui-ci pourra s'accorder en conséquence.
Si le COD est rattaché au verbe à l'infinitif, l'infinitif restera invarié.
Dans le cas d'un participe passé suivi par "de" :
"Les instruments que nous avons choisi de jouer sont d'origine africaine."
Qu'avons-nous choisi ? Nous avons choisi de jouer des instruments. "instruments" est ici le COD de "jouer", il n'influe pas sur l'accord de"choisi".
Dans le cas d'un participe passé suivi par "à" :
"J'ai terminé les devoirs que j'ai eu à faire."
Qu'ai-je eu ? J'ai eu à faire des devoirs. "des devoirs" est COD de "faire", il n'influe pas sur l'accord de "eu". | 
