Vídeo escalável

O vídeo escalável é um recurso para sessões roteadas que melhora a qualidade do vídeo em sessões com vários participantes, permitindo que cada assinante receba uma qualidade de vídeo adequada às suas condições atuais de rede — independentemente dos demais assinantes.

Sem o vídeo escalável, o Media Router encaminha a mesma qualidade de vídeo para todos os assinantes de uma transmissão. Quando a conexão de um assinante fica instável, o roteador usa a estimativa de largura de banda para solicitar ao editor que reduza a taxa de bits — o que diminui a qualidade para todos os assinantes daquela transmissão. Com o vídeo escalável ativado, o roteador seleciona a camada de qualidade mais adequada para cada assinante de forma independente e em tempo real, sem afetar o que os outros assinantes recebem.

O vídeo escalável requer um sessão encaminhada (uma sessão que utiliza o Media Router). Ela não está disponível em sessões retransmitidas e não seria útil nesse contexto, uma vez que os fluxos trafegam diretamente entre os clientes, sem nenhum roteador no caminho para selecionar ou alternar entre camadas de qualidade. Consulte O Media Router e os modos de mídia.

O vídeo escalável está ativado por padrão. A configuração no nível do aplicativo é, por padrão, Auto, o que significa que o Media Router ativa o vídeo escalável automaticamente quando há mais de dois clientes em uma sessão e todas as outras condições são atendidas. Você também pode configurá-lo para Em (sempre ativo) ou Desligado — veja Configuração no nível do aplicativo para mais detalhes. Na maioria das aplicações, não é necessário fazer alterações no código.

Codecs e modelos de escalabilidade

O funcionamento do vídeo escalável depende do codec negociado pelo provedor. Compreender as diferenças ajuda você a escolher o codec certo para o seu caso de uso, como quando é necessário otimizar o uso da CPU do provedor, a largura de banda de envio ou a adaptação da qualidade do lado do assinante.

VP8: Transmissão simultânea

Com VP8, o vídeo escalável é implementado por meio de transmissão simultânea. A emissora codifica e transmite vários fluxos de bits totalmente independentes, com diferentes resoluções e taxas de quadros — por exemplo, 1080p, 540p e 270p, cada um com suas próprias camadas temporais (taxa de quadros). Cada fluxo é independente e pode ser decodificado separadamente.

Como cada fluxo é totalmente independente, o Media Router pode alternar instantaneamente qualquer assinante para um nível de qualidade diferente, sem necessidade de recodificação — proporcionando grande resiliência às mudanças nas condições da rede.

VP9: Codificação de Vídeo Escalável (SVC)

Com VP9, usos do vídeo escalável Codificação Escalável de Vídeo (SVC). O editor codifica um único fluxo de bits que contém várias camadas espaciais (resolução) e temporais (taxa de quadros) matematicamente incorporadas a ele. Cada camada superior depende das camadas inferiores; assim, um decodificador que receba apenas a camada base obtém baixa qualidade, enquanto aquele que receba todas as camadas obtém qualidade total — tudo a partir do mesmo fluxo de bits.

O custo de CPU do provedor para a codificação SVC é maior do que para a codificação de um único fluxo — aproximadamente comparável à transmissão simultânea em VP8 —, mas o SVC requer menos largura de banda de envio, pois há apenas um fluxo de bits a ser enviado, em vez de vários fluxos independentes. A partir do único fluxo codificado, o Media Router pode extrair e encaminhar exatamente o subconjunto correto de camadas para cada assinante, proporcionando uma adaptação de qualidade eficiente e flexível que também é mais resistente à perda de pacotes.

O SVC exige que tanto o endpoint do publisher quanto o Media Router sejam compatíveis com VP9 SVC. O Firefox é compatível com VP9, mas não com SVC — um editor do Firefox envia VP9 sem camadas, de modo que o Media Router não consegue ajustar a qualidade desse fluxo.

Para uma explicação completa sobre as camadas do SVC e os modos de escalabilidade (L1T3, L2T3, L3T3), comportamento de arquivamento e compatibilidade com dispositivos, consulte Codificação de vídeo escalável VP9 para sessões roteadas.

Principais diferenças em resumo

H.264: Vídeo escalável não é compatível

O codec H.264 é totalmente compatível com a Video API da Vonage para publicação e assinatura, mas O vídeo escalável não está disponível para transmissões em H.264. O Media Router não pode alternar entre camadas de qualidade para fluxos H.264, e as configurações de vídeo escalável não surtem efeito quando o H.264 é negociado. Se o seu aplicativo exigir vídeo escalável, use VP8 ou VP9 em vez disso. Consulte Codecs de vídeo.

Suporte a vídeo escalável

O vídeo escalável é compatível com a transmissão simultânea em VP8 e com o VP9 SVC. Não é compatível com Fluxos H.264. Está disponível apenas em sessões encaminhadas.

Os seguintes clientes oferecem suporte a vídeo escalável:

• SDK da Web — Chrome, Firefox, Safari, Samsung Internet, WebView no Android, WebView no iOS e o Edge baseado no Chromium. Observação: o Firefox oferece suporte à transmissão simultânea em VP8, mas não ao VP9 SVC.
• SDK do Android (em dispositivos compatíveis)
• SDK do iOS (em dispositivos compatíveis)
• SDK do Windows
• SDK do Linux
• SDK do macOS
• SDK do React Native (em dispositivos compatíveis)

Para obter detalhes sobre a compatibilidade do VP9 SVC com dispositivos e navegadores, consulte Codificação de vídeo escalável VP9 para sessões roteadas.

Como usar o vídeo escalável

Configuração no nível do aplicativo

O vídeo escalável possui três modos que você pode definir por aplicação no Painel do Vonage:

1. Faça login na sua Account da Video API da Vonage.
2. No menu à esquerda, selecione Applications.
3. Para uma aplicação já instalada, clique no menu com os três pontos e selecione Editar. Para uma nova inscrição, acesse a seção de qualificações após clicar em Criar um novo aplicativo.
4. Ative o botão para habilitar o Vídeo opção.
5. Role a página para baixo e clique Mostrar recursos avançados.
6. Sob Vídeo escalável, escolha uma das seguintes opções:
   • Auto (recomendado) — O Media Router permite a exibição de vídeo escalável quando há mais de dois clientes em uma sessão. Deixe essa opção selecionada, a menos que tenha um motivo específico para alterá-la.
   • Em — O vídeo escalável está sempre ativado (em clientes compatíveis) para todas as sessões neste aplicativo.
   • Desligado — O vídeo escalável está desativado para todas as sessões neste aplicativo. Use essa opção para fixar a resolução e a taxa de quadros, ou para reduzir o uso de CPU e largura de banda pelo editor.
7. Clique Salvar alterações.

Transmissões escaláveis de compartilhamento de tela

Por padrão, o vídeo escalável é desativado para transmissões com compartilhamento de tela e ativado para transmissões de câmera e fontes de vídeo personalizadas. O conteúdo compartilhado na tela geralmente muda com menos frequência do que o vídeo da câmera; portanto, o custo adicional de codificação do vídeo escalável costuma ser desnecessário. No entanto, ativá-lo pode ser benéfico em sessões em que os participantes do compartilhamento de tela apresentam condições de rede variáveis. É possível substituir a configuração padrão por editor:

Como a sugestão de conteúdo afeta as camadas de compartilhamento de tela

Quando o vídeo escalável está habilitado para uma transmissão de compartilhamento de tela em VP8 em uma sessão roteada, o dica sobre conteúdo em vídeo A configuração que você define para o emissor determina como ele estrutura as camadas de transmissão simultânea que envia. É por isso que o número de fluxos (SSRCs) que você observa para um emissor de compartilhamento de tela em uma ferramenta como chrome://webrtc-internals depende da dica de conteúdo:

• detail ou text — O editor é otimizado para preservar os detalhes finos e a legibilidade (texto, desenhos lineares, conteúdo estático). Ele envia dois fluxos com a mesma resolução espacial que diferem apenas na taxa de quadros: um fluxo em resolução total na taxa de quadros normal e um segundo fluxo em resolução total com uma taxa de quadros mais baixa. Isso mantém o conteúdo compartilhado nítido e legível, ao mesmo tempo em que oferece ao Media Router uma camada com taxa de bits mais baixa para ser utilizada como alternativa quando a rede do assinante se deteriora — de modo que a deterioração reduza a taxa de quadros, em vez de desfocar os detalhes. Duas camadas em resolução total proporcionam um bom equilíbrio entre a resiliência durante a degradação e a manutenção da resolução detalhada original.

• motion — O editor otimiza para garantir um movimento suave (por exemplo, durante a reprodução de vídeos compartilhados). Ele funciona como uma transmissão simultânea de câmera, enviando vários fluxos em diferentes resoluções espaciais, de modo que o Media Router possa reduzir a resolução para um assinante a fim de manter a fluidez dos movimentos em condições de rede limitadas.

Escolha a sugestão de conteúdo que melhor corresponda ao seu conteúdo compartilhado: detail ou text prioriza manter os detalhes nítidos (reduzindo a taxa de quadros em primeiro lugar), enquanto motion prioriza a fluidez do movimento (reduzindo primeiro a resolução).

Configuração da taxa de quadros e da resolução preferidas pelo assinante

Quando uma transmissão é publicada com vídeo escalável, os assinantes podem indicar ao Media Router a qualidade de sua preferência. O Media Router seleciona a camada disponível mais próxima que se adapte às condições reais de rede do assinante.

Como verificar se o vídeo escalável está funcionando

Não há um único indicador de “vídeo escalável ativo” no SDK, mas é possível verificar se ele está funcionando por meio das seguintes abordagens.

Inspecionador de Vídeos

O Inspecionador de Vídeos A ferramenta no módulo Métricas de Qualidade exibe o codec, a resolução e a taxa de quadros. Passe o cursor sobre qualquer ponto de uma linha traçada para visualizar o codec atualmente em uso. Quando o vídeo escalável está ativado, a resolução e/ou a taxa de quadros para um ou mais assinantes podem ser ajustadas dinamicamente em resposta às mudanças nas condições da rede.

Estatísticas do WebRTC

Cada SDK disponibiliza o relatório de estatísticas do WebRTC subjacente. Do lado do editor, verifique RTCOutboundRtpStreamStats:

• Com Transmissão simultânea em VP8, você verá vários ssrc entradas com diferentes frameWidth/frameHeight valores — um por camada de transmissão simultânea.
• Com VP9 SVC, você verá um único ssrc com um scalabilityMode conjunto de propriedades (por exemplo, L3T3).

Métodos do SDK para acessar o relatório de estatísticas:

• SDK da Web — Publisher.getRtcStatsReport() e Subscriber.getRtcStatsReport()
• Linux — consulte Obtendo estatísticas da transmissão

Lista de verificação: Condições necessárias para que o vídeo escalável esteja ativo

Caso não observe o comportamento de qualidade adaptativa, Verify o seguinte:

• A sessão é derrotado (não transmitido).
• O vídeo escalável não está configurado para Desligado no nível do aplicativo.
• O codec negociado é VP8 ou VP9 (não H.264).
• A editora está operando em um cliente compatível.

Definição do modo de escalabilidade alvo

É possível definir explicitamente o modo de escalabilidade de um emissor, controlando o número de camadas espaciais (resolução) e temporais (taxa de quadros) que o WebRTC codifica. Isso permite um controle preciso sobre o equilíbrio entre a adaptabilidade da qualidade do vídeo e o uso de recursos.

Como funciona

O modo de escalabilidade alvo é aplicado ao caminho de mídia do Media Router (editor → Media Router). Ele pode ser definido ou alterado a qualquer momento — não é necessário que a negociação do caminho de mídia tenha sido concluída, e você pode atualizá-lo dinamicamente durante uma sessão ativa, enquanto o codificador já estiver em execução. Se você chamar o método `set` antes que o caminho de mídia seja estabelecido, o SDK retém o valor e o aplica assim que a negociação do codec for concluída. Em Roteamento Adaptativo de Mídia Nas sessões (AMR), o modo é aplicado apenas ao caminho de mídia do Media Router (editor → Media Router), uma vez que os modos de escalabilidade não são utilizados quando se ignora o Media Router no caminho de mídia.

O que o alvo controla

O modo de escalabilidade de destino indica ao codificador quantas camadas espaciais (resolução) e temporais (taxa de quadros) devem ser produzidas. Isso determina diretamente quais opções de qualidade o Media Router tem à disposição ao encaminhar o vídeo para cada assinante:

• Mais camadas espaciais — o Media Router pode reduzir a resolução para assinantes com largura de banda limitada, mantendo a resolução total para os demais. Por exemplo, L3T3 oferece três níveis de resolução para o roteador escolher.
• Mais camadas temporais — o Media Router pode reduzir a taxa de quadros para assinantes com largura de banda limitada, sem reduzir a resolução. Por exemplo, L1T3 mantém a resolução total o tempo todo, mas oferece ao roteador três níveis de taxa de quadros para escolher — isso é ideal para conteúdos em que os detalhes são essenciais, como slides ou documentos.
• Menos camadas — reduz o uso da CPU e da largura de banda do provedor, mas limita a capacidade do Media Router de ajustar a qualidade para cada assinante.

Quando a meta talvez não seja totalmente cumprida

A configuração desejada é uma preferência — o codificador a aplica quando as condições permitirem. O modo efetivamente aplicado pode diferir da sua configuração desejada nos seguintes casos:

• Limitações do codec — Se o codec negociado não for compatível com as camadas solicitadas, o modo é ajustado. Por exemplo, ao definir L2T3 com o VP8, o resultado é L1T3 está sendo aplicado porque o VP8 não oferece escalabilidade espacial. Veja Solução alternativa dependente do codec.
• Resolução muito baixa para as camadas espaciais solicitadas — Cada etapa da camada espacial utiliza uma proporção de resolução de 2:1. Se a resolução de captura do editor for baixa demais para permitir uma subdivisão significativa (por exemplo, publicação em 320×240 com L3T3 (conforme solicitado), o codificador pode produzir menos camadas espaciais do que o solicitado, pois a camada mais baixa seria pequena demais para ser útil.
• Limitações de hardware ou de recursos — Em dispositivos com recursos limitados, o codificador pode não gerar todas as camadas solicitadas caso isso exceda os limites de CPU ou largura de banda.

Verificação do modo aplicado

O método `get` retorna o seu alvo (o que você configurou), não necessariamente o que foi aplicado. Para verificar as camadas de escalabilidade efetivamente geradas pelo codificador, use o relatório de estatísticas do WebRTC — especificamente o RTCOutboundRtpStreamStats — via getRtcStatsReport(). Para obter detalhes sobre como acessar estatísticas em diferentes plataformas, consulte Como verificar se o vídeo escalável está funcionando e Observabilidade do cliente.

Modos de escalabilidade válidos

São suportados os seguintes modos:

O formato segue o Especificação SVC do WebRTC do W3C: L<spatial>T<temporal>, onde o número após L é a contagem de camadas espaciais e o número após T é o número de camadas temporais.

Qualquer valor fora dessa lista é rejeitado com um erro. Se você nunca chamou o método `set` (por exemplo, setTargetScalabilityMode() na Web/Android ou no targetScalabilityMode propriedade no iOS/Windows), o método get correspondente retorna um valor vazio ou nulo (dependendo da plataforma) — isso ocorre porque o modo de escalabilidade é um alvo Apenas uma preferência, não um padrão gerenciado internamente. O SDK não define um destino padrão por você; portanto, até que você defina um explicitamente, não há nenhum valor a ser retornado.

Solução alternativa dependente do codec

O modo que, na verdade, é aplicado depende do codec negociado no caminho de mídia do Media Router:

• Codecs compatíveis com SVC (VP9) — o modo solicitado é aplicado tal como está. Esses codecs oferecem suporte nativo tanto às camadas de escalabilidade espacial quanto às de escalabilidade temporal.
• VP8 — O VP8 suporta apenas escalabilidade temporal, sem camadas espaciais; as qualidades espaciais são tratadas por meio da publicação de múltiplos fluxos em diferentes resoluções (transmissão simultânea). O modo aplicável mais próximo é obtido preservando a dimensão temporal e forçando as camadas espaciais a 1. Por exemplo, se você definir L2T2 e o VP8 é negociado, L1T2 é aplicada.
• H.264 — O vídeo escalável não é compatível com o H.264 nesta Video API; portanto, o comportamento alternativo descrito acima não se aplica a fluxos H.264.

O método `get` sempre retorna o que você definiu explicitamente (sua intenção), independentemente do que foi efetivamente aplicado após o fallback dependente do codec. Por exemplo, se você definir L2T3 e, caso o VP8 seja negociado, o Media Router aplica L1T3 (já que o VP8 não possui camadas espaciais), mas o método get ainda retorna L2T3 — refletindo sua meta original, e não o modo efetivo.

Interação com a resolução e a taxa de quadros preferidas pelo assinante

A lógica de seleção de camada do Media Router para Subscriber.setPreferredResolution() e Subscriber.setPreferredFrameRate() é construído com base no layout padrão da camada de escalabilidade. Quando um emissor define um modo de escalabilidade alvo diferente do padrão, as camadas espaciais e/ou temporais efetivamente produzidas pelo codificador deixam de corresponder ao que o Media Router presume estar disponível, e a camada que o roteador encaminha a um assinante pode não corresponder à resolução ou à taxa de quadros solicitadas por esse assinante.

Uso de APIs específicas da plataforma

publisher.setTargetScalabilityMode('L3T3');

try {
  publisher.setTargetScalabilityMode('L3T3');
} catch (err) {
  console.error('Invalid scalability mode:', err.message);
}

const mode = publisher.getTargetScalabilityMode();
console.log(mode); // 'L3T3' or undefined

publisher.setTargetScalabilityMode("L3T3");

try {
    publisher.setTargetScalabilityMode("L3T3");
} catch (OpenTokException e) {
    Log.e(TAG, "Invalid scalability mode: " + e.getMessage());
}

String mode = publisher.getTargetScalabilityMode();
// "L3T3" or null

try publisher.setTargetScalabilityMode("L3T3")

let mode = publisher.targetScalabilityMode
// "L3T3" or nil

NSError *error = nil;
[publisher setTargetScalabilityMode:@"L3T3" error:&error];

NSString *mode = publisher.targetScalabilityMode;
// @"L3T3" or nil

publisher.TargetScalabilityMode = "L3T3";

try
{
    publisher.TargetScalabilityMode = "L3T3";
}
catch (OpenTokException e)
{
    Console.WriteLine("Invalid scalability mode: " + e.Message);
}

string mode = publisher.TargetScalabilityMode;
// "L3T3" or null

otc_status status = otc_publisher_set_target_scalability_mode(publisher, "L3T3");
if (status != OTC_SUCCESS) {
    printf("Failed to set scalability mode\n");
}

const char* mode = otc_publisher_get_target_scalability_mode(publisher);
if (mode != NULL) {
    printf("Target scalability mode: %s\n", mode);
}

Equívocos comuns e perguntas frequentes

O vídeo escalável é a mesma coisa que o VP9 SVC?

Não. “Vídeo escalável” é o nome do recurso da Video API da Vonage. O mecanismo técnico depende do codec:

• VP8 implementa vídeo escalável por meio de transmissão simultânea — a editora envia vários fluxos independentes.
• VP9 implementa vídeo escalável por meio de SVC — o editor envia um fluxo com camadas incorporadas.

Ambos os mecanismos permitem que o Media Router ajuste a qualidade que cada assinante recebe. Quando a documentação menciona “vídeo escalável” sem especificar um codec, ela se refere ao recurso como um todo.

A definição de um codec preferencial ativa o vídeo escalável?

Não. A seleção de um codec preferencial (no painel de controle ou por meio do preferredVideoCodecs (opção do editor) é independente do vídeo escalável. A ativação do vídeo escalável depende de todos os seguintes fatores:

1. Configuração do recurso de vídeo escalável (Ligado / Desligado / Automático).
2. A sessão está sendo encaminhada.
3. O codec negociado compatível com vídeo escalável (VP8 ou VP9 — não H.264).
4. O cliente do editor ou o navegador que oferece suporte a vídeo escalável.

Por que é que Subscriber.setPreferredResolution() Não está garantindo a qualidade?

O lado do assinante setPreferredResolution() e setPreferredFrameRate() são dicas para o Media Router, e não comandos diretos ao codificador da emissora. O Media Router só pode agir com base nessas sugestões quando estiver selecionando ativamente entre camadas de vídeo escaláveis para aquele assinante. Se qualquer uma das seguintes condições for verdadeira, não haverá camadas para selecionar e as sugestões não terão efeito:

• O vídeo escalável está desativado no nível do aplicativo ou no stream do editor.
• O codec negociado é o H.264 (vídeo escalável não é compatível).
• O cliente do editor não gera camadas escaláveis (por exemplo, um editor do Firefox que envia VP9 sem camadas SVC).
• O editor está com restrições de CPU ou largura de banda e não está enviando camadas superiores para que o roteador possa selecionar.
• A editora definiu um modo de escalabilidade não padrão por meio de setTargetScalabilityMode() — a seleção de camadas do Media Router é baseada no layout padrão; portanto, as preferências do assinante podem não corresponder à camada que ele espera.
• A sessão é retransmitida — em uma sessão retransmitida, o Media Router não encaminha os fluxos, portanto, a seleção de camada não pode ocorrer. Observe que, em sessões retransmitidas (P2P), o codificador do emissor adapta sua saída diretamente com base nas condições de rede do assinante, mas isso não é o mesmo que a seleção de camada de vídeo escalável.

Posso misturar editores escaláveis e não escaláveis na mesma sessão?

Sim. O vídeo escalável é definido por fluxo, e não por sessão. Uma sessão pode conter simultaneamente emissores que utilizam vídeo escalável e emissores que não o utilizam (por exemplo, emissores H.264 ou clientes que transmitem com o vídeo escalável desativado). O Media Router processa cada fluxo de forma independente.

O vídeo escalável afeta o arquivamento?

Para Transmissão simultânea em VP8, o programa de compactação grava usando a camada de qualidade mais alta disponível.

Para VP9 SVC, os arquivos individuais armazenam o fluxo de cada participante no formato WebM com codificação VP9 SVC. Os arquivos compostos são sempre transcodificados para MP4 com H.264/AAC, independentemente do codec da sessão.

A reprodução de arquivos WebM no formato VP9 SVC pode não funcionar em todos os reprodutores de mídia. Para obter instruções de reprodução e comandos de transcodificação, consulte Notas sobre arquivamento no guia do VP9.

Para obter mais informações, consulte este artigo de suporte.