Web, Technologies, IA, Vidéo... - Vidéo

Le streaming vidéo adaptatif via HTTP : une réalité...

2012-07-16T10:07:00+02:00

Dans le domaine de la vidéo en ligne, l'une des principales questions ces dernières années fût de migrer des technologies classiques de streaming (RTSP, MMS, RTMP...) vers du téléchargement via HTTP. Et ceci pour plusieurs raisons :

les coûts moins importants
le filtrage, les 'anciens' protocoles étaient souvent filtré par les pare-feux
HTTP ne demande pas de configuration particulière

Ces nouveaux formats deviennent prépondérant notamment dans le domaine des médias.

Le principe

Le concept se présente de la manière suivante : différents débits de la même vidéo sont segmentés, voire fragmentés (ces morceaux de vidéos sont appelées des chunks). On liste ces différents segments dans différents fichiers manifestes permettant ainsi l’ajustement d’un débit à l’autre par le client. Le lecteur de ce dernier teste ainsi régulièrement l’état du débit et télécharge le meilleur segment suivant dans sa mémoire tampon (comme le montre la figure suivante).

L’introduction de ces technologies a permis d’un côté de réduire le coût en bande passante pour la diffusion et la mise en cache de contenu et de l’autre d’optimiser l’expérience utilisateur quelque soit son débit. En revanche, les coûts ont augmentés d’une part en terme de temps de préparation de contenus (notamment en raison des multiples transcodages) ; d’autre part, en terme de stockage de ces mêmes contenus (au lieu d’un seul fichier auparavant, on se retrouve maintenant avec un nombre important de petits fichiers).

Il est important de noter qu’en réalité, les technologies de streaming en multi-débit ne sont pas des technologies de streaming à part entière comme par exemple RTMP ; elles se basent sur le téléchargement progressif des contenus sur le protocole HTTP.

Les formats actuellement disponibles

HTTP Live Streaming (HLS)

Encore à l'état de brouillon (en version 8) mais fortement déployée, cette technologie est propulsée par Apple. On rencontre des vidéos HLS notamment sur les plateformes iOS (iPhone, iPad, iPod). On peut également en retrouver sur Android (depuis la version 3.0 : Honeycomb) et sur certains modèles de télévisions connectées. HLS se présente sous la forme de manifestes (fichiers textes .m3u8) et de segments vidéos (.ts). Il est possible de chiffrer les segments via l'algorithme AES. Le lien vers la clé de chiffrement est indiqué dans le manifeste. L'un des gros avantages de HLS est qu'il est possible de diffuser les contenus depuis n'importe quel serveurs HTTP (Apache, NGinx, ...).

NB: dans le cadre d'une soumission d'applications pour l'Apple Store, il est nécessaire de se fier aux spécifications vidéos en fonction de la plateforme cible.

J'avais abordé la vidéo sur iPhone dans un précédent billet.

Smooth Streaming

Smooth Streaming est fortement lié à l'environnement de développement Silverlight de Microsoft. La diffusion de Smooth Streaming s'effectue via des serveurs IIS intégrant le module Smooth Streaming. La structure d'une vidéo Smooth Streaming se présente sous la forme suivante:

un fichier manifeste ISM
des fichiers vidéos ISMV correspondant aux différents débits

Smooth Streaming est utilisé via le plug-in Silverlight pour PC/Mac, sur la Xbox et sur les terminaux mobiles Windows Phone 7.

HTTP Dynamic Streaming (HDS)

HDS est supporté par Adobe. Fonctionnant sur le même principe que HLS ou Smooth Streaming, HDS est défini via des fichiers manifestes au format XML : F4M et des segments vidéos au format F4V. Une présentation de HDS est déjà disponible.

Pour conclure, il y a cependant un problème à tout cela, il reste toujours 3 formats de diffusion; les impacts sont notamment la multiplicité des encodages des vidéos (et je n'ajoute même pas la gestion de DRM...).

Une solution pourrait tout de même résoudre cela : MPEG-DASH (Dynamic Adaptive Streaming over HTTP). Les différents acteurs citées dans l'article participent à sa définition. Si cette nouvelle technologie était appliquée sur l'ensemble des "écrans", une grande partie des problèmes cités disparaîtrait. Une affaire à suivre...

Qu'est ce que le HTTP Dynamic Streaming ?

2012-01-26T09:12:00+01:00

Cet article est une traduction de l'article de John Crosby : What is HTTP Dynamic Streaming ? Jusqu'à maintenant, la livraison de contenu vidéo sur HTTP était distribué en téléchargement progressif, ceci signifie que pour lire une partie ou rechercher un endroit spécifique dans la vie, vous devez attendre que cette partie se télécharge. Le protocole RTMP permet de réaliser une recherche à n'importe quel endroit du contenu vidéo via streaming, mais requiert une technologie serveur telle que Flash Media Server (produit Adobe) pour effectuer cela.!

HTTP Dynamic Streaming ou HDS combine HTTP (téléchargement progressif) et RTMP (téléchargement en streaming) permettant de délivrer un contenu vidéo en streaming sur HTTP. Ceci signifie :

Une technologie de serveur de streaming n'est pas requise, il est juste nécessaire d'avoir un serveur HTTP (ex Apache)
Les clients peuvent accéder et commencer à lire un contenu 'instantanément'
Les clients peuvent rechercher des endroits dans la vidéo qui n'ont pas encore été téléchargés.

…et tout cela sur le protocole HTTP.

Il y a un certain nombre de choses que vous devez prendre en compte lorsque vous démarrez avec HTTP Dynamic Streaming.

D'une part, un serveur media pour streamer le contenu n'est pas requis, mais le server Web Apache avec le Module HTTP Origin l'est. Le module HTTP Origin est un module Apache gratuit à l'utilisation fournit par Adobe, et est pré-installé et configuré avec le Flash Media Server quand vous installez le serveur web fourni. L'installation et la configuration du module sera couverte dans un autre article.

D'autre part, le contenu vidéo devra être 'préparé' pour HTTP Dynamic Streaming avant d'être déployé sur votre serveur. Votre workflow de création de contenu devra être ajusté pour accueillir votre contenu vidéo dans un format de fichier F4F. Il existe un outil, le f4fpackager, qu'Adobe a créé pour faire cela pour vous.

La préparation de ces contenus fera l'objet d'un prochain article.

HDS - Late Binding Audio avec OSMF

2012-01-20T09:47:00+01:00

Vous allez me dire, mais qu'est ce que ce titre signifie en réalité ? C'est assez simple, je vais décomposer :

- HDS pour HTTP Dynamic Streaming est un protocole de diffusion des vidéos (créé par Adobe). Le principe est similaire au HTTP Live Streaming utilisé sur les iPhone et iPad (j'avais présenté ce protocole).
Late Binding Audio : comprenez par là la possibilité d'avoir plusieurs pistes audios associé à un flux vidéo
OSMF pour Open Source Media Framework, un framework Flex utilisé pour la gestion des vidéos.

Mon article est tiré d'un article en anglais, j'y ajoute cependant quelques points de détails.

Récupéré une vidéo

Dans un premier temps, vous allez devoir récupérer une vidéo et la préparer dans différents formats. Pour préparer ces vidéos, j'ai utilisé ffmpeg (boîte à outils pour le traitement des vidéos) et transcodé les vidéos en MP4.

la vidéo originale avec l'audio encodé en format FLV ou un format compatible MP4
la piste audio seule provenant de la vidéo originale également au format FLV ou MP4

ffmpeg -i scenes.mp4 -vn -acodec copy -f mp4 scenes-audio1.mp4

une piste alternative audio, de préférence de même durée que la vidéo originale, encodé de la même manière* *

ffmpeg -i scenes2.mp4 -vn -acodec copy -f mp4 scenes-audio2.mp4

Packager la vidéo avec les outils f4fpackager

Afin de préparer le contenu, Adobe a rendu disponible un outil : le FilePackager ou f4fpackager; disponible sous Linux ou Windows. On effectue un package pour chacune des vidéos

f4fpackager --input-file=scenes1.mp4 --output-path=test-lba
f4fpackager --input-file=scenes-audio1.mp4 --output-path=test-lba
f4fpackager --input-file=scenes-audio2.mp4 --output-path=test-lba

Vous vous retrouvez maintenant avec les fichiers suivants :

scenes1.f4m
scenes1Seg1.f4x
scenes1Seg1.f4f
scenes-audio1.f4m
scenes-audio1Seg1.f4x
scenes-audio1Seg1.f4f
scenes-audio2.f4m
scenes-audio2Seg1.f4x
scenes-audio2Seg1.f4f

Créer le fichier f4m principal

Nous allons manipuler le fichier f4m afin de prendre en compte les pistes audios. Pour cela, il faut récupérer dans les balises bootstrapInfo et media dans les fichiers scenes-audio1.f4m et scenes-audio2.f4m et les copier dans le fichier scenes1.f4m à la suite de la balise media

                AAABS2Fic3QAAAAAAAAADgAAAAPoAAAAAAAEBWoAAAAAAAAAAAAAAAAAAQAAABlhc3J0AAAAAAAAAAABAAAAAQAAAEIBAAABBmFmcnQAAAAAAAAD6AAAAAAPAAAAAQAAAAAAAAAAAAAQaAAAAAIAAAAAAAAQkAAAETAAAAADAAAAAAAAIegAAA2sAAAABAAAAAAAAC+AAAATiAAAAAUAAAAAAABC4AAADhAAAAAGAAAAAAAAUPAAABEwAAAABwAAAAAAAGH4AAAPoAAAACEAAAAAAAH0KAAAD6AAAAAiAAAAAAACA6AAABS0AAAAIwAAAAAAAhhAAAAPoAAAAD0AAAAAAAOqcAAAD6AAAAA/AAAAAAADyWAAABEwAAAAQAAAAAAAA9poAAAPoAAAAEIAAAAAAAP5WAAADBwAAAAAAAAAAAAAAAAAAAAAAA==



                        AgAKb25NZXRhRGF0YQgAAAAAAAhkdXJhdGlvbgBAcHjU/fO2RgAFd2lkdGgAQIaAAAAAAAAABmhlaWdodABAeUAAAAAAAAAMdmlkZW9jb2RlY2lkAgAEYXZjMQAMYXVkaW9jb2RlY2lkAgAEbXA0YQAKYXZjcHJvZmlsZQBAU0AAAAAAAAAIYXZjbGV2ZWwAQD8AAAAAAAAADnZpZGVvZnJhbWVyYXRlAEA5AAAAAAAAAA9hdWRpb3NhbXBsZXJhdGUAQOdwAAAAAAAADWF1ZGlvY2hhbm5lbHMAQAAAAAAAAAAACXRyYWNraW5mbwoAAAACAwAGbGVuZ3RoAEFZIZgAAAAAAAl0aW1lc2NhbGUAQNhqAAAAAAAACGxhbmd1YWdlAgADZW5nAAAJAwAGbGVuZ3RoAEFoIQAAAAAAAAl0aW1lc2NhbGUAQOdwAAAAAAAACGxhbmd1YWdlAgADZW5nAAAJAAAJ

Ajouter des attributs au tags media dans le f4m principal

Pour faire fonctionner le multi-audio, il faudra rajouter les balises suivantes :

alternate = "true"
type = "audio"
lang="français"
bitrate=" "

Une fois tout cela prêt, vous aurez à compiler la dernière version de OSMF et à lire la vidéo en appelant le f4m principal que vous venez de préparer.

[Livre] Compression vidéo sur Internet

2011-09-21T07:47:00+02:00

Je viens de terminer la lecture du dernier livre de Jan Ozer : Video Compression for Flash, Apple Devices and Html5. Ce livre est un petit bijou. Que vous travaillez directement sur la vidéo, si vous en êtes proche ou même si vous souhaitez approfondir vos connaissances techniques, ce livre est fait pour vous.

Le livre aborde les points suivants :

une première partie aborde le H264 (le codec vidéo) en partant de la théorie pour arriver progressivement aux paramétrages et aux outils qui permettent les transcodages
une petite partie aborde WebM, VP6 et WMV
ensuite, comment préparer les contenus pour les différentes cibles : Flash, iOS, HTML5
enfin l'auteur aborde enfin des outils plus industriels, les méthodes de diffusion

Au final, ce livre est réellement à avoir dans une bibliothèque de livre technique/technologique lié au Web.

Disponible sur [Amazon](http://www.amazon.fr/Video-Compression-Flash-Apple-Devices/dp/0976259508/) (en anglais)