Je pense que c'est comme prévu. Lorsqu'une demande de discussion initiale arrive de l'un de vos contacts, Google ne sait pas sur quel écran vous êtes le plus attentif à ce moment-là. Une fois que vous avez répondu au message soit depuis le PC ou le mobile, les notifications ultérieures dans cette conversation ne devraient apparaître que sur l'appareil à partir duquel vous avez répondu.
Vous pouvez totalement désactiver les notifications sur l'un ou l'autre client, mais cela ne semble pas être ce que vous recherchez?
Pour désactiver totalement les notifications sur votre mobile, ouvrez l'application Talk, appuyez sur Menu puis sélectionnez Paramètres, et décochez "Notifications de messagerie instantanée : Avertir dans la barre d'état lorsque la messagerie instantanée arrive". L'application Google Talk et l'application web sont bloquées sur le PC que j'utilise en ce moment, je ne peux donc pas donner des directions exactes, mais il devrait y avoir une option similaire pour désactiver les notifications.
Voir aussi Comment interagissent les discussions Gmail (desktop) et Talk (Android) ?