残念ながらSteamのストアページにあるビデオの音量を調節することはできません。ビデオ左下のスピーカーマークをクリックすることでミュートにすることは出来ます。

なんとか調節する方法としては、Steamあるいはブラウザの音量自体をタスクバーのスピーカーアイコンから調節する他ありません。もちろんこの方法だと、チャットの着信音やブラウザで開いている他のページの音量まで変化することになります。