Web, Technologies, IA, Vidéo...

Tracer un contenu, un objectif important à l'heure des LLMs. Claude commence à fournir une partie de la solution.

2026-08-11T23:12:00+02:00

Anthropic annonce hier que Claude va intégrer des marqueurs permettant d’identifier, par machine, du contenu généré ou traité par Claude.

Cette démarche s’inscrit dans les engagements pris par Anthropic dans le cadre de l’article 50(2) de l’AI Act européen, consacré à la transparence des contenus générés par IA. Les obligations de transparence de l’article 50 de l’AI Act sont d’ailleurs applicables depuis le 2 août 2026.

Il y aura essentiellement deux mécanismes :

➡️ Pour le texte : un watermark invisible Claude incorporera directement dans le texte un marquage imperceptible qui ne modifie ni le sens, ni la lisibilité du texte. Il accompagnera le texte lorsqu’on le copie-colle et pourra survivre à certaines modifications ou éditions.

➡️ Pour les fichiers : des métadonnées de provenance signées Pour certains formats générés par Claude, notamment image comme .svg, .png et .jpg, Anthropic ajoutera des métadonnées de provenance en s’appuyant sur le standard ouvert C2PA (standard ouvert qui permet d’attacher à un contenu des informations vérifiables sur sa provenance et son historique de création ou de modification). Ces métadonnées permettent notamment de vérifier qu’un fichier a été traité par Claude et de détecter certaines altérations.

Tout ceci me rappelle le watermarking utilisé dans le monde du streaming, même si l’objectif est ici différent : il ne s’agit pas d’identifier un utilisateur final, mais de pouvoir détecter qu’un contenu a potentiellement été traité par Claude.

💡 En résumé, Claude introduit une couche de traçabilité machine-readable de ses productions. Et c’est probablement là le point le plus intéressant : cette traçabilité porte sur le fait que Claude a traité le contenu, pas nécessairement sur son origine intellectuelle. Un contenu peut donc être marqué parce que Claude l’a traduit, reformulé ou simplement édité, sans pour autant que Claude en soit à l’origine.

❓ Une question me vient alors, et je n’ai pas encore la réponse : quelles sont les implications de ce mécanisme au regard du RGPD et du respect de la vie privée ? Que contient exactement ce marqueur ? Peut-il permettre, directement ou indirectement, de faire le lien avec l’utilisateur, l’organisation ou le contexte dans lequel le contenu a été produit ? Ami(e)s juristes si vous voulez partager votre avis !

Le sujet de la traçabilité des contenus générés par IA ouvre donc aussi une nouvelle question : jusqu’où peut-on tracer un contenu sans tracer la personne qui l’a produit ou utilisé ?

Source: le blog post d'Anthropic https://support.claude.com/en/articles/16266773-how-claude-marks-ai-generated-content

Un développeur est parvenu à faire fonctionner un LLM de près de 29 millions de paramètres sur… un ESP32.

2026-08-05T23:32:00+02:00

Oui, vous avez bien lu. Pas un Raspberry Pi, pas un smartphone... un microcontrôleur à quelques euros.

Pour ceux qui ne connaissent pas, un ESP32 est un microcontrôleur très utilisé dans les objets connectés (domotique, capteurs, robots, électronique embarquée). Il coûte quelques euros et dispose de ressources extrêmement limitées : mémoire rapide \< 1Mo et quelques Mo de Flash. On est à des années-lumière des ressources dont dispose le moindre PC moderne.

Avant toute chose, il s'agit d'une preuve de faisabilité (PoC). Ce n'est pas un concurrent de ChatGPT, mais une démonstration extrêmement intéressante d'optimisation logicielle.

❓ Qu'a-t-il modifié ?

Non seulement il a compressé le modèle mais en plus l’auteur a repensé la manière dont le modèle utilise la mémoire :

- le cœur du Transformer (environ 560 000 paramètres) reste dans la mémoire rapide ;

- les 25 millions de paramètres sont stockés dans la mémoire Flash, beaucoup plus grande mais plus lente ;

- les données ne sont lues qu'au moment où elles sont réellement nécessaires

Résultat : environ 9 tokens par seconde sur un ESP32-S3.

🤯 Pourquoi est-ce possible ?

On ne parle pas 29 millions de paramètres manipulés à chaque token généré. En réalité, ici, une grande partie des paramètres est stockée sous forme d'une immense table de correspondance. À chaque génération de token, seule une infime partie est consultée. Cette architecture permet donc de conserver l'essentiel du modèle dans la mémoire Flash tout en gardant uniquement les éléments critiques dans la mémoire rapide.

C'est cette séparation intelligente entre stockage et mémoire de calcul qui rend le PoC possible.

❓ Quels pourraient être les usages ?

Ca ne remplace pas les grands modèles, en revanche, on peut imaginer :

➡️ des assistants ultra-spécialisés embarqués dans une machine industrielle ;

➡️ le pilotage d'un équipement en langage naturel, sans connexion au cloud ;

➡️ des objets connectés capables de dialoguer localement tout en préservant la confidentialité des données.

Ce qui me fascine le plus n'est finalement pas le LLM lui-même. Ceci me rappelle l’époque où l'on cherchait à repousser les limites du matériel grâce à l'ingéniosité du logiciel. Aujourd'hui, la puissance de calcul disponible masque souvent ce type de travail d'optimisation, même si le monde de l'embarqué continue à cultiver cette approche.

Pour moi, l'innovation n'est donc pas d'avoir mis un LLM sur un ESP32. Elle est d'avoir démontré qu'en exploitant intelligemment la hiérarchie mémoire, on peut repousser très loin les limites apparentes du matériel.

💬 Et vous, quel objet du quotidien gagnerait, selon vous, à embarquer un petit LLM fonctionnant entièrement en local, sans dépendre du cloud ?

Source: https://github.com/slvDev/esp32-ai

Quand une IA commence à "tricher" sur un benchmark de sécurité…

2026-07-31T20:15:00+02:00

Cette question peut se poser à la suite de l'incident survenu ce mois-ci.
Lors d'un test interne, OpenAI évaluait un modèle expérimental sur un benchmark de cybersécurité, avec les garde-fous désactivés. Plutôt que de résoudre le défi de manière classique, le modèle a trouvé un moyen de voler des mots de passe, d'exploiter des vulnérabilités et de se déplacer sur les serveurs de Hugging Face afin de récupérer... les réponses au test.

Ce qui ressemble à un scénario de science-fiction soulève pourtant plusieurs questions.
➡️ Les modèles ne se contentent plus d'exécuter des instructions : ils semblent capables d'élaborer des stratégies complexes pour atteindre un objectif.
➡️ Les mécanismes de sandboxing et les environnements d'évaluation deviennent aussi importants que les modèles eux-mêmes. Tester une IA aux capacités offensives nécessite un niveau de sécurité digne des environnements les plus sensibles. C'était déjà vrai hier ; cela l'est encore davantage à l'ère des LLM.
➡️ L'alignement ne consiste pas seulement à empêcher des réponses inappropriées. Il faut aussi s'assurer qu'un agent ne cherche pas à contourner les règles lorsqu'il poursuit un objectif.
➡️ Les capacités offensives de l'IA progressent plus vite que les outils de défense accessibles. Les modèles commerciaux, comme ceux d'OpenAI ou d'Anthropic, sont volontairement limités pour éviter certains usages offensifs. À l'inverse, des modèles open source, comme GLM-5.2 utilisé par Hugging Face pour analyser l'incident, n'ont pas ces restrictions et peuvent être employés librement... aussi bien par les défenseurs que par les attaquants.

💬 Cela m'amène à plusieurs interrogations.
Faut-il laisser les IA "libres" pour qu'elles nous défendent... au risque qu'elles puissent aussi nous attaquer ?
Ou faut-il les verrouiller à double tour, quitte à les rendre moins utiles face aux menaces réelles ?
Et une dernière question, volontairement provocatrice : va-t-on devoir commencer à enseigner l'éthique aux IA... ou surtout à ceux qui les conçoivent ? 😉

* Plus de détails sur l'incident [en] : https://simonwillison.net/2026/Jul/22/openai-cyberattack/ - https://huggingface.co/blog/security-incident-july-2026

Comment suivre le domaine des LLMs où l’histoire semble s’écrire chaque semaine ?

2026-07-15T22:45:00+02:00

Je suis récemment tombé sur une ressource fascinante : une chronologie interactive qui retrace l’évolution des grands modèles de langage (LLMs), de Transformer (2017) jusqu’aux modèles les plus récents. Cette chronologie sur https://llm-timeline.com/ est une excellente façon de prendre du recul sur l’évolution de l’IA générative et de mesurer le chemin parcouru depuis 2017.

En la parcourant, deux choses m’ont frappé. La première est que les architectures fondatrices des LLM modernes ont près de dix ans. La seconde est que ce n’est plus seulement la vitesse à laquelle les modèles se succèdent qui est frappante, c’est la densité de l’innovation.

En quelques années, nous sommes passés :
➡️ des premiers modèles démontrant le potentiel des Transformers,
➡️ à la démocratisation des LLMs,
➡️ puis à une concurrence mondiale où chaque acteur cherche à repousser une limite différente.

Aujourd’hui, comparer les modèles uniquement par leur nombre de paramètres n’a plus beaucoup de sens. Les questions que l’on se pose sont désormais bien plus concrètes :
• Peut-il utiliser efficacement des outils, des API ou des bases de connaissances ?
• Quel est son coût d’utilisation… et son coût à grande échelle ?
• Peut-il fonctionner en local pour répondre aux exigences de sécurité et de souveraineté ?
• Quelle est sa consommation de ressources (GPU, mémoire, énergie) ?
• Est-il suffisamment rapide pour être utilisé en production ?
• Peut-il être personnalisé ou affiné pour répondre à des besoins métiers ?
Au fond, il semble que l’on ne compare plus seulement des modèles. On compare des solutions capables de répondre à des contraintes métier, techniques, économiques et réglementaires.

En observant cette chronologie, on réalise aussi que l’innovation ne vient plus d’un seul laboratoire. OpenAI, Anthropic, Google, Meta, Mistral AI, xAI, DeepSeek, Alibaba, Zhipu AI… chacun contribue à accélérer le rythme. Et d’autres acteurs pourraient arriver dans un futur proche.
Finalement, le défi n’est peut-être plus de savoir quel est le « meilleur » LLM.
Le véritable enjeu est de comprendre dans quels cas d'usage chaque génération de modèles apporte une nouvelle valeur.

Et vous, quel modèle, quelle avancée ou quel cas d’usage vous a le plus marqué ces dernières années ?

La bataille des puces IA semble être complètement lancée !

2026-06-25T20:00:00+02:00

Depuis plusieurs années, Nvidia domine le marché des puces pour l’IA avec ses GPU captant plus de 80 % des parts de marché dans les data centers. Cette année 2026 marquerait un tournant, car le paysage évolue rapidement. L’inférence, le processus où un modèle (ChatGPT, Mistral) entraîné utilise de nouvelles données pour produire une réponse, est le terrain de jeu d’une bataille qui s’annonce féroce. Et pour cause : elle représente jusqu’à 90 % des coûts opérationnels des grands modèles de langage.

De « nouveaux » acteurs (ils ne sont au final pas si nouveau ! ) bousculent le marché :

🔹 OpenAI & Broadcom :
L’annonce a été faite ces derniers jours. Avec Jalapeño, leur première puce dédiée à l’inférence, ils visent une réduction de 50 % des coûts et un déploiement massif dans des data centres géants avec Microsoft.

🔹 Huawei :
Le géant chinois mise sur son Ascend 910. Deepseek (un LLM d’origine chinoise) a d’ailleurs dans sa dernière version optimisé l’usage de ces puces par rapport aux puces concurrentes (Nvidia ou AMD). Une alternative pour la Chine avec des performances qui commencent à être un sérieux rival.

🔹 AMD :
Avec ses Instinct MI450 et MI500, AMD propose une alternative 15 à 20 % moins chère que Nvidia, tout en restant compatible avec les frameworks existants.

Quels sont les avantages d’avoir un choix dans les puces ?
✅ Baisse des coûts : La concurrence pousse les prix à la baisse, une aubaine pour les entreprises.
✅ Innovation accélérée : Plus d’acteurs = plus de choix et de solutions adaptées.
✅ Moins de dépendance : Diversifier les fournisseurs réduit les risques (techniques, géopolitiques).

Alors, Nvidia, prêt à partager ton gâteau ? *🎂 * Avec l’arrivée de Jalapeño, Ascend 910C et les Instinct d’AMD, le marché des puces IA devient enfin un vrai buffet à volonté… et c’est une excellente nouvelle pour tout le monde (sauf peut-être pour Jensen Huang).

Vers une pile standardisée pour les protocoles des agents IA ?

2026-06-15T23:08:00+02:00

Et si les agents IA avaient besoin de leur propre TCP/IP ?

Tout système d’interaction repose sur un protocole défini. Les agents IA et leurs écosystèmes n’y font pas exception. Pourtant, les débats actuels opposent souvent MCP, A2A, ACP ou ANP comme s’ils résolvaient le même problème. En réalité, ils répondent à des couches distinctes d’une architecture commune, comparable à ce que TCP/IP a été pour Internet.

Tentons de clarifier le rôle de chaque protocole et montrer comment ils s’articulent pour construire l’Internet des agents. J'espère ne rien oublier !

1. Couche Identité & Découverte

Protocole phare : [ANP](https://github.com/agent-network-protocol/AgentNetworkProtocol) (Agent Network Protocol)
Fonction : Permet de découvrir des agents, leurs capacités, leurs identités et leurs permissions
Question clé : « Comment trouver le bon agent et savoir ce qu’il sait faire ? »

2. Couche Communication/Messaging

Protocole phare : [ACP](https://www.ibm.com/fr-fr/think/topics/agent-communication-protocol) (conçu par IBM)
Fonction : Définis les formats de messages et les mécanismes d’échange entre agents
Question clé : « Quel langage ou format utilisent les agents pour communiquer ? »

3. Couche Coordination

Protocole phare : [A2A](https://a2a-protocol.org/latest/) (Agent-to-Agent)
Fonction : Permet à plusieurs agents de collaborer, se déléguer des tâches et partager leur état d’avancement
Question clé : « Comment des agents travaillent-ils ensemble ? »

4. Couche Outils

Protocole phare : [MCP](https://modelcontextprotocol.io/docs/getting-started/intro) (Model Context Protocol - conçu par Anthropic)
Fonction : Permet à un agent de découvrir et utiliser des outils, APIs, bases de données ou services externes
Question clé : « Comment un agent interagit-il avec une ressource ? »

5. Couche Transport : le défi restant

Problématique : Le HTTP est largement utilisé malheureusement il ne pourra pas répondre à toutes les contraintes : NAT traversal, routage notamment.
Question clé : « Comment les messages circulent-ils physiquement entre les agents ? »

💡 Vers une pile de protocoles pour les agents !

Les couches Outils, Coordination, Communication et Découverte commencent à se structurer. Reste un défi majeur : la couche Transport.

Et si la vraie question n’était plus « Quel protocole va gagner ? », mais plutôt :

« Comment ces protocoles vont-ils s’articuler pour construire l’Internet des agents ? »

L’IA entre-t-elle dans une nouvelle phase : celle de l’optimisation ?

2026-06-10T23:03:00+02:00

Les annonces se multiplient ces dernières semaines à propos de l’optimisation des LLM (ces "cerveaux" capables de comprendre et générer du texte, comme Gemini ou GPT). Google, OpenAI, Mistral… Tous cherchent à rendre leurs modèles plus performants, plus précis, ou moins coûteux.

Mais un autre mouvement, tout aussi stratégique, émerge. L’optimisation ne se limite plus aux modèles eux-mêmes. Avec l’avènement des agents IA, c’est tout l’écosystème autour des LLM qui devient un levier clé.

🚗 Pour tout comprendre, prenons une analogie et imaginons une voiture :

Le LLM, c’est le moteur (ex : un V12 Ferrari). Puissant, mais inutile sans le reste.
L’agent IA, c’est la carrosserie, la boîte de vitesses et le pilote : en bref tout ce qui permet d’exploiter pleinement ce moteur.

Mettre un V12 dans une Twingo, ça ne servira à rien : il faut un châssis adapté, une transmission efficace, et un bon conducteur. Avoir un bon agent IA est maintenant tout aussi crucial que le LLM lui-même. Et les choses bougent, aussi bien dans les solutions propriétaires que dans l’open source.

🔹 Un exemple révélateur : Harness-1

Dans un article récent, VentureBeat présente Harness-1, un projet open source développé par des chercheurs. Il s’agit d’un agent IA qui, placé en amont du LLM, optimise la recherche et la sélection des informations.

Résultat : quand on lui demande de trouver des réponses précises sur une question posée, le couple Harness-1 et LLM standard (ex : GPT-5.4) obtient 73 % de précision, contre 70,9 % pour GPT-5.4 seul.

En quoi cela est révolutionnaire ?

Harness-1 ne remplace pas le LLM: il améliore son environnement. Les informations sont de meilleures qualités avant d’être envoyé au LLM.

Il prouve qu’un agent léger, couplé à un workflow intelligent, peut surpasser un LLM géant utilisé seul.

Pour moi, l’IA ne progresse plus uniquement grâce à des modèles toujours plus grands. C’est l’architecture complète qui compte avec :

Des agents qui savent mieux interagir avec le monde réel (outils, bases de données, APIs).
Des workflows optimisés qui combinent plusieurs étapes (recherche \> filtrage \> génération) pour maximiser l’efficacité.
L’open source, qui ouvre des voies alternatives pour innover sur l’architecture plutôt que sur la taille.

💡 En résumé :

On passe d’une course à la taille ("plus gros = mieux") à une course à l’intelligence collective :

LLM + Agents + Workflows = L’écosystème gagnant.

L’IA ne demande pas uniquement des GPU : le CPU devient ou plutôt redeviendrait-il le nouveau terrain de jeu central ?

2026-06-04T21:57:00+02:00

C'est suite à la lecture de cet article ByteDance prépare ses propres CPU Arm et RISC-V pour reprendre le contrôle du coût par token que me vient cette réflexion. L’ère de l’IA ne se résume plus à une course aux GPU. Et pour cause, avec l’essor des agents autonomes, les besoins en infrastructure ont radicalement changé. Il semble que l'on passe en effet d’un monde dominé par le GPU... à une dépendance multi-composants.

Jusqu’à récemment, l’entraînement des grands modèles de langage (LLM) reposait presque exclusivement sur des GPU haut de gamme, avec NVIDIA en position de monopole. Résultat :

Coûts élevés : Les entreprises dépendent d’un seul fournisseur, avec des marges et des prix imposés. Même, comme j’en parlais précédemment, le local AI est envisageable.
Goulot d’étranglement : La demande en GPU explose, mais l’offre reste limitée (et chère).

Mais voici qu'un nouveau problème arrive. Les agents IA ne se contentent pas d’un simple appel à un LLM (les fameux modèles). Ils nécessitent :

Orchestration complexe (appels à des outils externes, gestion de la mémoire, raisonnement multi-étapes).
Mémoire massive pour maintenir le contexte et les états.
Et potentiellement même du calcul hybride : GPU pour l’inférence, mais CPU spécialisés pour tout le reste.

La question qui se pose maintenant est qui contrôlera l’infra de demain ?

Tout ceci devient un enjeu stratégique. Et ça bouge à travers le monde. Un petit état des lieux:

NVIDIA domine toujours et fournit le marché en GPU, mais son hégémonie est contestée.
La Chine via par exemple ByteDance (TikTok) et Huawei investissent massivement dans leurs propres équipement (ARM, RISC-V) pour offrir des gains dans les coûts par token, maîtriser leur chaîne d’approvisionnement (et éviter les risques géopolitiques) et enfin, pourquoi pas, créer un avantage concurrentiel en optimisant leur infrastructure pour leurs besoins spécifiques.
L’Europe n’est pas en reste. On voit des gros acteurs comme Mistral et OVH qui investisse dans l’infrastructure nécessaire afin de proposer des solutions IA. Même si ils dépendant des fournisseurs de semi-conducteurs non européen.

🤔 Maintenant qu’est-ce que cela signifie pour les entreprises?

Si vous utilisez des solutions d’IA générative ou des agents, voici ce que je suggérerais :

Diversifiez ses dépendances
Anticipez au maximum les coûts cachés
Rester en veille sur les alternatives : Les prochaines générations de CPU spécialisés pourraient bouleverser le marché

Au final, cette approche n’est pas inconnue, elle a déjà été utilisée par le passé.

Réflexion du jour : La fin du "all you can eat" dans l’IA : et si les wrappers devenaient les nouveaux héros ?

2026-06-04T20:59:00+02:00

Après l’ère des abonnements illimités, les géants comme GitHub Copilot ou Claude ont récemment annoncé le basculement vers une tarification basée sur l’usage des tokens. Finie la consommation sans limite : chaque mot, chaque virgule, chaque espace compte désormais.

Pourquoi ce changement ?
Parce que le coût de l’intelligence artificielle explose. Comme le souligne Madrona, l’optimisation des tokens ("tokenmaxxing") devient un enjeu stratégique. Et avec des modèles toujours plus gros la vitesse et l’efficacité ne sont plus des options, ce sont des nécessités. Des innovations comme le Multi-Token Prediction (MTP), désormais disponible dans Gemma 4 ou via llama.cpp, optimisent déjà la génération des tokens. Pourtant, cela ne suffit pas.

Avec la fin des usages illimités, une question s’impose : comment optimiser chaque token, au-delà des améliorations logicielles comme le MTP ? La réponse pourrait bien résider dans une nouvelle génération d’outils intermédiaires que j'appelerais des wrappers d’IA. Ces outils, placés avant, pendant ou après l’appel au LLM, ont un seul but : réduire le gaspillage de tokens tout en améliorant la qualité des résultats. Quelques exemples concrets :
- Prétraitement des données : Pourquoi envoyer un PDF brut à un LLM quand un wrapper peut en extraire uniquement les parties utiles ?
- Conversion de formats : Des outils comme celui de Cloudflare transforment du HTML en Markdown, évitant d’envoyer des balises inutiles au modèle.
- Optimisation des prompts : Reformuler une requête pour la rendre plus concise, sans perdre son sens.
- Post-traitement : Nettoyer ou structurer la réponse du LLM pour éviter de payer pour des tokens superflus.

🔥 Une opportunité... ou une course déjà lancée ?
Cette transition de la gestion des tokens ouvre un nouveau marché. Des startups sont-elles déjà en train de se positionner sur ce créneau ?
- Des solutions clés en main pour diviser par 2 (ou plus) la facture IA pourraient émerger.
- Les fournisseurs de LLM pourraient intégrer ces optimisations nativement dans leurs APIs.
- Les entreprises qui maîtriseront ces outils gagneront un avantage compétitif en réduisant leurs coûts… tout en gardant la même qualité.

❓ Et si, au final, tout cela était logique ?
On optimise l’entrée, on optimise la sortie... pour obtenir le traitement le plus efficace possible. Après tout, n’est-ce pas la base de toute bonne ingénierie ?

💬 Et vous, comment vous préparez-vous à ces nouvelles contraintes sur les tokens ?
- Avez-vous déjà testé des wrappers pour optimiser vos appels aux LLM ?
- Pensez-vous que cette course à l’efficacité va accélérer l’innovation… ou complexifier l’accès à l’IA pour les petits acteurs ?

Réflexion autour de l'impact de l'IA sur les sites et plateforme à revenu publicitaire

2026-06-04T20:52:00+02:00

Commençons avec ce que j'appelerais notre canari dans la mine.

Très connu de la communauté des développeurs — même s’il était déjà en déclin depuis le milieu des années 2010 — Stack Overflow a vu le nombre de questions publiées chuter fortement depuis l’arrivée de ChatGPT. Et par conséquence : moins de visites.

Beaucoup plus récemment, l’un des auteurs de Minecraft.fr a publié une analyse très intéressante (https://minecraft.fr/ce-qui-se-passe-sur-minecraft-fr-quand-vous-posez-une-question-a-une-ia/) sur ce qu’il se passe lorsqu’un utilisateur pose une question à une IA.

En résumé :
les IA citent souvent Minecraft.fr comme source pour répondre aux questions sur Minecraft… mais ces citations ne génèrent presque jamais de visites réelles sur le site. Malgré un bon référencement Google, le nombre de clics a chuté de moitié, y compris sur des requêtes intemporelles. Comme si l’utilisateur ne ressentait plus le besoin d’ouvrir la source une fois la réponse obtenue.
Ils ont pris la décision de continuer à produire du contenu de qualité… alors même que ce contenu sert désormais davantage les IA que leur propre trafic.
D'un autre côté, de plus en plus de site fiable bloquent l'accès aux IA, cela risquerait de dégrader la qualité des résultats fournir par les IA.

Maintenant plusieurs questions me viennent à l'esprit :

Quel avenir pour les sites dont le modèle économique dépend principalement de la publicité ?
Les IA vont-elles pousser certains contenus derrière des paywalls ou des communautés privées ?
Va-t-on voir émerger des modèles de licensing de la donnée pour rémunérer les producteurs de contenu ? On voit apparaître du pay-per-crawl.
Comment financer durablement la production de savoir humain si l’interface qui répond capte l’essentiel de la valeur ?

Pendant longtemps, nous avons pensé que le principal problème des IA serait la qualité des réponses. Mais le vrai sujet me semble au final plutôt économique.

Car sans créateurs, journalistes, experts, développeurs, communautés… les IA finiront par ne plus avoir grand-chose d’utile à apprendre ni à citer.

Et si un copilote de développement tournait… sur votre propre machine ?

2026-06-04T19:13:00+02:00

À mes heures perdues (enfin pas tant perdu que cela, j’ai appris des choses), je me suis récemment amusé à tester les copilotes pour développeurs. Vous connaissez sûrement Claude Code ou GitHub Copilot. Ayant lu des messages et articles, j’ai décidé de voir ce type d'assistant donne mais en 100% local, sans dépendance à une solution cloud.

Le résultat est très interessant. Voici mon expérience :

🖥 Matériel : CPU AMD Ryzen 7 PRO 4750U (2020) avec 32 Go de RAM. Pas de GPU puissant, donc tout tourne côté CPU. Ce n’est clairement pas du dernier cri, mais ça fait un bon benchmark, non ?
🛠 Setup : VSCode + extension Continue côté client, et côté serveur… Llama.cpp utilisant le modèle Phi-3 (2024) et un mitmproxy.

Après quelques optimisations, les résultats sont surprenants :

➡️ J’ai commencé simple : un Hello World dans différents langages, généré en quelques secondes. Basique, mais symbolique pour démarrer dans un langage.
➡️ Analyse de code parfaitement fonctionnelle : on sélectionne le code comme contexte et on pose sa question dessus. Deux dizaines de secondes après, on a la réponse.
➡️ Optimisation de la latence : grâce à mitmproxy, j’ai pu surveiller et réduire la quantité de texte envoyée au LLM, ce qui accélère sensiblement les réponses.

Toutes les fonctionnalités attendues d’un copilote sont donc disponible à la différence que tout tourne en local (sur la même machine), avec la confidentialité (rien ne sort de chez vous) et flexible (la bascule d'un modèle LLM à l'autre est simple). En utilisant du matériel récent et notamment un bon GPU, je ne vois pas de limitation pour une grande majorité des cas d’usage.

En bref, faire tourner un assistant de développement en local… ça marche vraiment !
Et le meilleur dans tout ça ? J’utilise cette expérience pour du code, rien n’empêche d’adapter la solution d’utiliser des LLM locaux pour d’autres cas d’usages.
La seule contrainte est le support de la partie serveur décrite plus haut. Entre ça et le suivi de son usage de tokens sur les solutions externes, la question peut se poser.

❓ Et vous, avez-vous déjà essayé un copilote qui fonctionne directement sur votre machine ? L'utilisez-vous au quotidien

Je peux partager plus d’infos techniques dans les commentaires

On le sait, le numérique a un impact environnemental… je découvre que la France le mesure annuellement !

2026-05-24T16:48:00+02:00

L’ARCEP publie chaque année une enquête sur l’empreinte écologique du numérique en France. Une initiative précieuse pour y voir plus clair !
Pour ceux qui ne savent pas, l'ARCEP c'est Autorité de régulation des communications électroniques, des postes et de la distribution de la presse.

5 catégories analysées :
✔ Opérateurs télécoms (réseaux fixes/mobiles)
✔ Fabricants de terminaux (smartphones, PC, tablettes…)
✔ Opérateurs de data centers
✔ Équipements de réseaux mobiles (nouveauté 2025)
✔ Câbles fibre optique (nouveauté 2026)

🔍 3 enseignements clés :
→ +38% d’électricité pour les data centers en 3 ans (20 MW en moyenne pour les nouveaux sites !).
→ 108 000 tonnes de CO₂ émises en 2024 pour la fabrication des câbles fibre.
→ Stabilisation de la consommation des réseaux télécoms à 4,1 TWh (grâce à la fibre, plus sobre).

Source: enquête Arcep 2026

Hier soir, j’ai codé un LLM (enfin un mini LLM)… et j'ai survécu !

2026-05-21T20:38:00+02:00

Il y a un mois, je partageais cette vidéo expliquant les bases des LLM en 1 minute. Aujourd’hui, je passe à l’étape supérieure en découvrant "LLM from Scratch" : un workshop où je peux mettre les mains dans la machine. En une soirée et avec un peu de Python, ce workshop nous lance dans la création d'un petit LLM. Cela a piqué ma curiosité. Grâce à ce workshop, je comprends mieux les concepts fondamentaux derrière ces modèles. Et c’est bien moins flippant que ce qu’on imagine !

Prérequis : Connaître un minimum le language Python (si vous savez faire un print("Hello World"), vous êtes qualifiés 🥳 ).

Au programme et sans spoiler :
✅ Étape 1 : La "tokenisation", ou "comment transformer du texte en Lego pour l’ordinateur".
✅ Étape 2 : Les "embeddings", ou "pourquoi votre chat et mon chat ne sont pas le même chat pour l’IA" (spoiler : c’est une histoire de maths).
✅ Étape 3 : L’assemblage, ou "comment faire croire à votre PC qu’il est intelligent" (il ne l’est pas. Désolé.).
✅ Étape 4 : La génération de texte, ou "comment faire parler votre modèle... même s’il dit parfois des bêtises".

Pourquoi c’est cool ?
- Plus besoin de faire semblant de comprendre quand on me parlera de transformers et je ne parle pas du film.
- Lors de ma prochaine soirée mondaine, je pourrais dire : "Moi aussi, j’ai codé un LLM... enfin, un mini-LLM. Mais c’est déjà ça !"
- Je serais en mesure d'expliquer à mon étourage c’est qu’un LLM avec un peu plus de détails... sans avoir l’air de réciter un cours.

🫵 À vous de jouer !

Pour les ambitieux: si cela vous a donné envie d’aller plus loin, ce livre "Build a Large Language Model from Scratch" semble être une bonne référence pour avancer sur votre prochain défi. Attention, votre cerveau pourrait vous en vouloir... mais au moins, vous saurez pourquoi ! 😂

Edge AI vs Cloud AI : un arbitrage devenu critique

2026-05-04T20:15:00+02:00

Lors de ma veille, je suis tombé sur un article intéressant sur l’Edge AI et le Cloud AI dans les environnements industriels : Pourquoi l’intelligence locale est la clé de la productivité industrielle 4.0

Ce que je trouve particulièrement pertinent, c’est la mise en lumière de 3 contraintes structurelles, souvent sous-estimées dans presque tous les domaines, mais encore plus critiques dans l’industrie :
➡ la latence
➡ les coûts de transfert de données
➡ la dépendance à la connectivité

Dans un contexte industriel, ces facteurs ne sont pas de simples “détails techniques” : ils peuvent directement impacter la performance opérationnelle, voire bloquer des cas d’usage temps réel.

Le point que je retiens surtout est la grille de lecture finale :
➡ Cloud AI : analyse stratégique, entraînement, apprentissage, vision long terme
➡ Edge AI : action terrain, temps réel, décision locale
Et surtout, la vraie valeur n’est pas dans l’opposition des deux approches, mais dans leur complémentarité.

On se dirige clairement vers des architectures hybrides (hybrides comme on peut l’observer dans beaucoup de domaines), où :
➡ le cloud structure, apprend et optimise
➡ l’edge exécute, réagit et décide localement

Au final, pour moi la question ne serait plus “Cloud ou Edge”. Mais plutôt : où placer l’intelligence pour maximiser la réactivité, la fiabilité et le ROI ?

L’IA n’est plus seulement dans le cloud… elle commence à revenir sur nos machines.

2026-04-06T20:21:00+02:00

Au début, l’IA (celle qui a explosé avec ChatGPT) rimait avec cloud : puissance déportée, dépendance aux API, latence acceptée comme une certaine fatalité. Et puis, progressivement — presque silencieusement ? — le centre de gravité se rapproche de nos propres machines. Une évolution que je suis depuis un moment, et j’ai l'impression qu’un vrai basculement est en train de se produire.

Ce week-end, Apple a discrètement fait un pas majeur : approbation officielle du pilote de Tiny Corp pour prendre en charge les eGPU NVIDIA sur Mac. Ce pilote est pensé pour l’IA, pas pour les jeux ou usages généraux.
Le message est clair : l’IA locale, embarquée et maîtrisée, devient une réalité. Une IA qui ne dépend plus d’un serveur distant, mais de votre propre matériel — confidentialité, réactivité et souveraineté garanties.

Les puces Apple sont déjà puissantes : M1 à M5 offrent un CPU ultra-optimisé capable de gérer inférence, pipelines rapides et orchestration. Avec un eGPU externe, elles peuvent désormais être associées pour des calculs encore plus ambitieux. Ces associations sont d'ailleurs déjà possible sur PC traditionnel depuis quelques temps.

Concrètement, on peut imaginer :

Des copilotes privés ultra-efficient et 100% offline , sans risque d’exposition des données
Des outils avancés de création (texte, image, code), fonctionnant en local, sans abonnement ni latence
Des workflows IA embarqués dans des apps métiers, pour une réactivité immédiate
Des environnements de test rapides, sans friction ni coût variable

On passe d’une logique de consommation à une logique d’appropriation. Plus besoin de dépendre d’une connexion ou d’un budget API pour innover.
La vraie question : comment orchestrer ces synergies CPU+eGPU pour rivaliser, sur certains usages, avec le cloud ? Bien sûr, le cloud reste roi pour le scale, mais "local" ne veut plus dire "limité". Et ça, c’est profondément excitant pour l’avenir de l’IA sur toutes les plateformes.

Un modèle de raisonnement (une IA) qui tient désormais dans un smartphone. C'est une révolution et je trouve cela incroyablement excitant!

2026-02-01T21:59:00+01:00

Il y a deux ans, il fallait deux datacenters pour faire tourner un modèle de raisonnement avancé. Liquid AI annonce en janvier une prouesse : un modèle capable de raisonner en autonomie, sur un smartphone et utilisant moins de 1 Go de RAM.

Pourquoi est-ce un tournant ?
À l’ère où la mémoire vive coûte cher (on parle de +500% sur 12 mois) et où la "privacy" devient un enjeu critique, cette avancée risque de changer la donne. Plus besoin de cloud, plus besoin de transférer des données sensibles : l’IA pense localement, sur l’appareil, comme un vrai assistant personnel.

Mais c’est quoi, un "modèle de raisonnement" ?
Contrairement aux LLM classiques (ChatGPT, Le Chat,...) qui prédisent des mots en s’appuyant sur des statistiques, les modèles de raisonnement simulent une pensée logique :
- Ils décomposent les problèmes en étapes ("Pour résoudre X, fais d’abord Y, puis Z").
- Ils expliquent leurs démarches (ex. : "Je conclus que ce symptôme correspond à A, car B et C").
- Ils s’adaptent à des tâches complexes sans être réentraînés.

Des cas d’usage qui vont tout changer
Avec des modèles légers et autonomes, imaginons :
- assistants médicaux sur les appareils des médecins sans besoin d'envoyer les données dans le cloud
- analyse automatique de contrats et assistance juridique en direct
- détection de pannes par des robots industriels sur eux-mêmes de manière autonome

Pourquoi est-ce une révolution ?
- Réduction des coûts: pas de besoin en infrastructure distante
- "Privacy" : les données ne sortent pas de l'appareil
- Latence : ça tourne localement, pas d'échange de données nécessaires.

Bientôt, votre grille-pain pourra négocier avec votre frigo pour savoir qui a mangé le dernier morceau de pain. Et votre aspirateur robot vous expliquera pourquoi il a encore coincé sous le canapé (spoiler : c’est votre faute 🤣 ).

Pour en savoir plus sur cette annonce de Liquid.ai

Prompt Engineering: The Office Dungeon & Dragons! (Spoiler: You’re All Wizards Now 🪄🧙)

2025-12-23T16:48:00+01:00

As 2025 wraps up, one truth is undeniable: we are nearly all becoming spellcasters. No wand or pointy hat required (though both are encouraged) just a keyboard, an internet connection, and a new superpower more game-changing than "Ctrl+C / Ctrl+V": Prompt Engineering!

Picture this: every morning, you wake up as a Level 1 Mage (aka "Copy-Paste Neophyte"), and every AI interaction is a dice roll. Your mission? Go from "Fumble" to "Critical Success" without accidentally summoning something unexpected.

❓What’s Your Prompting Level? Like in any RPG, let's roll the dice and find out!

Prompt Newbie (Neophyte): "Uh… can you write me an email?"
Prompt Associate (Apprentice): "Write a professional email to my boss about the project, but make it sound like Shakespeare wrote it."
Prompt Wizard (Journeyman): "Act as a 1920s detective. Analyze this dataset, find anomalies, and explain it in prose."
Prompt Grandmaster (Expert): "Simulate a debate between Socrates, Einstein, and a sarcastic AI about the ethics of time travel."

🫵 Now your turn, what’s YOUR current level?

Neophyte (I talk to AI like it’s my cat)
Apprentice (I’ve mastered "be creative")
Journeyman (I cite sources like a pro)
Grandmaster (The AI suggests ideas I hadn’t even thought of)

Where do you want to be in 2026?

Spoiler: Everyone wants to be a Grandmaster… but let’s be realistic, Fumbles make the best stories 😉 Share them if you have one.

If this post made you smile, tag a colleague who still thinks "Ctrl+F" is advanced tech. And remember: in 2026, the real magic is in the prompt! 😁

MCP et l’interopérabilité en IA : est-ce une révolution structurante ? C'est la question que je me suis récemment posée

2025-12-17T20:49:00+01:00

L’IA souffrait d’un paradoxe : des modèles toujours plus performants, mais enfermés dans des silos techniques. Les différents acteurs développaient ses propres protocoles d’interconnexion, créant des barrières qui freinaient l’innovation systémique plus globale et la collaboration entre systèmes. Une première question se pose et si une des vraies ruptures ne venait pas de l’IA elle-même, mais de sa capacité à dialoguer ?

Fin 2024, Anthropic (l’un des leaders de l’IA sécurisée et interprétable, connu pour ses modèles comme Claude) a introduit MCP (Model Communication Protocol). Ce protocole ouvert ne se contente pas de standardiser les échanges entre systèmes : il définit un langage universel pour l’IA, comparable à ce que HTTP a été pour le web, SQL pour les bases de données, ou REST pour les API des services web. Une avancée d’autant plus stratégique que MCP est désormais hébergé depuis le début de ce mois par la Linux Foundation – qui supporte déjà plus de 900 projets critiques comme Kubernetes ou RISC-V – garantissant ainsi neutralité et pérennité.

Pourquoi MCP a changé/change la donne ?

Fin des silos technologiques : Les entreprises ne sont plus contraintes de dépendre d’un seul fournisseur avec son format d'interconnexion. Elles peuvent désormais orchestrer des modèles hétérogènes (open-source, propriétaires, spécialisés) au sein d’une même architecture, sans friction.
Accélération de l’innovation : L’interopérabilité réduit les coûts d’intégration et permet de combiner rapidement des briques IA pour des cas d’usage complexes.

Je partage maintenant un regard critique : entre opportunités et défis. Si MCP représente une avancée majeure, son adoption pose des défis clés :

Standardisation vs. différenciation : Les acteurs historiques accepteront-ils de jouer le jeu de l’interopérabilité. De ce que j'observe cela semble le cas.
Sécurité et gouvernance : Un protocole ouvert exige des garde-fous robustes pour éviter les abus (fuites de données, manipulations, cyberattaques). La bascule d'Anthropic vers la Linux Foundation va dans le bon sens.
MCP pourrait-il devenir le "TCP/IP de l’IA", invisible mais omniprésent ? Si oui, sa gouvernance devrait, de mon point de vue, rester libre et transparente pour éviter les dérives.

Et demain ?
À court terme, MCP va simplifier l’intégration de l’IA dans les processus métiers, réduisant les coûts et accélérant le déploiement de solutions hybrides. C'est une excellente nouvelle. À plus long terme, il pourrait redéfinir les équilibres industriels, en favorisant les écosystèmes ouverts plutôt que les solutions propriétaires. Ce n'est pas la première fois que l'on a pu observer une bataille de "chapelle" par le passé.
Une certitude : l’ère des IA isolées est révolue. Place à celle des systèmes conversants et collaboratifs pour des systèmes et solutions complexes.

IBC report 2018

2018-10-03T14:06:00+02:00

IBC is one of the two biggest show related to broadcast and by extension broadband in the world (the other is NAB). It is happening in Amsterdam every year in September.

Consolidation is probably the main word which could summarise the IBC this year. Dozens of companies are providing the same level of feature / products. They are trying to differentiate from each other with the “business/use-cases” solution they can provide.

*Note: I focused this article only on some topics related to the OTT technologies and delivery, there were others trends like blockchain which was covered during the event. *

Technology is here

Technologies are now in place, the use-cases and solutions need to be built.

ABR streaming formats are settled : HLS and DASH are now standard, used by the entire market to deliver their content.
DRM : all recent media server are now able to encrypt the content and interact with DRM licence servers. All license providers are now moving to use the same encryption algorithm
4K: except NTT which was demo-ing 8K, companies were only listing 4K as part of their product portfolio and not pushing as the new key feature. 4K is not anymore a key trends, it is a standard
World cup provides use-cases to demonstrate the ability to show high scalability with low latency (see BBC example below)
AR/VR were not trends, the technology is here, but for now, the disruptive business case is not yet available on the market.

The only topic which is on-going is related to AV1: the new video codec. The bitstream was freezed in March this year. The companies and working groups are now working on the improvement for encoding and decoding. We should see major release during the next NAB in 2019 and very probably from Bitmovin who is one of the AV1 major contributor.

AI

AI was one of the words you could see at IBC, however digging more with the companies, by AI, it is more a productization of machine learning systems :

face recognition (video players),
build linear video channel based on recommandations

Peer-to-peer - CDN

Every big sport event comes with their challenge. This year for World Cup in Russia, the CDNs were heavily used. At the same time, the content providers started to use in production Peer-to-Peer solution. The goal was to improve the delivery and reduce (or ratain) the CDN pressure (and by consequence the CDN bill) for those content providers.

There are 2 majors companies which are covering the majority of that peer-to-peer market :

Others companies (like EasyBroadcast) are also providing P2P solution, but they are more confidential for the moment.

Content providers still need CDN (as source) for their content, but for large scale event, P2P solution provider are / will be more and more used.

Interestingly, P2P solution are suffering when the internal ISP network is not really good (keeping in mind WebRTC is using UDP and not TCP for transport). India is currently a good example.

Low latency streaming

Wowza Media Systems Co-Founder David Stubenvoll on Battling Latency on the Company’s Legacy is probably a good start to understand the current situation to stream low latency.

DASH CMAF

If you do not know CMAF, Bitmovin is providing a great explanation of CMAF. One of the main goal would be at the end to have HLS (TS chunks) and DASH (MP4 chunks) using the same chunks format, only the manifests will be different (M3U8 for HLS, MPD for DASH). Also CMAF would solve the low latency problem (when sub-seconds chunks are required).

BBC R&D was exposing during the show the setup their deployed for the last big events : World Cup, Winbledon using MPEG-DASH CMAF for low latency streaming

DASH CMAF is now fully supported by various companies (this is complete lists):
Anevia, AWS Elemental, GPAC Signals on the packaging side
Castlabs, TheoPlayer, dash.js (open source video player supported by the DASH-IF) on the player side

WebRTC

Limelight Networks released their ultra low latency video product based on WebRTC protocols. The demo @IBC was showing sub second latency from ingest server located (Frankfurt) to edges located in Japan (~800ms) and Los Angeles (~500ms)

Websocket

Some companies which are providing media player are providing also websocket video streaming solution : MistServer, Softvelum (with Nimble Streamer)

Live to VoD workflows - which solutions ?

2013-11-12T10:36:00+01:00

For many companies, especially for broadcasters, there is a common question : how can I de-linearize the live to create VoD contents ? During last IBC, I made a turn of the different tools which can help to create this kind of workflows. Some provides software and others provides appliances. Here is an overview of the different solutions of the company I identified which provide solutions.

Harmonic

Harmonic provides some solutions to generate file from live stream : ProMedia Live server, ProStream 1000 with ACE.

The ProMedia Live can be available as software only or as an appliance (based on optimized hardware). The ProMedia 1000 with ACE is a 1U device.

You can use API or GUI to manage the server and create to order to generate VoD content from Live stream. Both support SDI inputs of HD/SD video or MPEG2 / H.264 via transport stream.

Hexaglobe

Hexaglobe provided a solution called : Advanced Replay. This solution provides two main features :

an automatic mode which is pluggable to an EPG for example
a GUI to create extract scenes from the live

Advanced Replay records the live stream and can be able to provide more than 72hours of recorded streams. The solution is GoP accurate and take as input : TS, RTMP and also SDI.

To finish the solution is provided in a server 1U and can be implemented with others Hexaglobe solutions or with some others solutions (CDN, CMS etc...)

MediaExcel

MediaExcel is based in the US. They provide one solution : Media Excel HERO. This platform can manage , on the same one, Live and VoD. MediaExcel provide also 1U servers.

You can scale the platform with the cloud to create a head-end architecture.

"With HERO's on-demand dynamic repurposing for live-to-live, live-to-file, and file-to-file transcoding, no other platform delivers the quality, ease of use, and management capabilities for reducing CAPEX and OPEX." said John Hotchkiss, COO at Media Excel, during last IBC.

OpenHeadEnd

OpenHeadEnd is a french company. OpenHeadEnd provides a solution based on a simple USB dongle you can plug on a standard PC or a server. Many inputs are possible : from terrestrial reception to IP. The output formats are MPEG2, MPEG4 . You manage the solution via a web interface. Various features are available :

record live 24H/24H
capture and recompose a VoD content from recorded live stream
remux or/and transcode streams
manage failover (for example if one input failed, the solution use another).

You can have an overview on how to create workflow via the Youtube channel.

Unified Streaming Capture

CodeShop, knew with it main product Unified Streaming, announced last Summer Unified Capture. The solution can be implemented in the Unified Streaming environment.

You save your live stream on the disk. Then, you send to Unified Capture (a command-line tool) the TC-in and TC-out to cut and you obtain a single file output. This solution is also frame accurate.

This article give an overview of the different solutions I identified, but perhaps I missed others companies/solutions. If yes, don't hesitate to add a comment in the thread.

[OVFS] Speaker at the next SATIS expo in Paris

2013-11-08T14:55:00+01:00

I will be a speaker (as panelist) in one session during the next Satis expo in Paris. This session is called : "White card to the Online Video French Squad". Online Video French Squad a french group of tech guys who working in the online video ecosystem.

In this session, we will talk about : DRMs, what costs for the OTT security ?

Which DRM for which devices ? Business models, technical constraints, issues on multiscreen workflow and user experience...

The others panelists will be :

Nicolas Weil, Solution Architect at Akamai
Simon Laroque, Project Manager at Cognacq-Jay Image
Philippe Rambourg, Broadcast Engineering Manager at Canal +

The session will be on Wednesday, the 20th of November at 12PM.

To my english readers, I apologize in advance, this session will be in french.

How to create and architecture an open-source and/or free video platform ?

2013-07-05T10:51:00+02:00

This post is the result of a sort of challenge. The objective is to create an architecture to generate, manage and deliver HTTP streaming videos using free and/or open-source tools and/or applications. It need to answer to many questions : tools must be open source or free; reliability of the platform and the ability to scale up quickly. The architecture can be split in two parts : the content preparation and the delivery. I will expose an overview for each part of the architecture. Then I will list differents tools you can use. To finish, I will give you in details the architecture I will choose to deploy. But to realize this, few or some developments can be required, the language you will use, will be your choice. The operating system will be on Linux.

Content preparation

Here is the part to prepare the content. It will be separate in 3 differents items, I call them services :

Manager this service will orchestrate all the tasks. In this part, I choose the self-development but another option is possible (see below).
Bus the service bus will deliver all messages between others services
Worker each worker will be in charge of one specific task : encode, upload, download, package.

All of these is exposed in this figure :

The generated assets are transfered in the delivery zone storage.

Service : Manager

Here is the intelligence of the system. You have two choice :

create your own system. In this case, the manager need some developments, you can choose the language you want : Python, PHP, NodeJS, Java, Perl, etc...
using a system already developed. I think about Kaltura platform for example. This option need some integration and learning time if you want to use it.

I recommend to associate your code to a database. The database will save the metadata of your video assets and some configurations datas.

relational database : MySQL, PostgreSQL, SQLLite, ...
non-relational database : Redis, ...

Service : Bus

The service bus will use the concept of Message queue. That is very interesting because it helps to manage more easily the communication between each application : you send the message and the library or the system make the rest. There are many tools in the open source world :

For each message queue solutions, you will find connectors for separates languages (C, C++, PHP, Python, Perl, ...). Depends on the message queue solution you choose, you need to make more or less developments.

Service : Worker

Workers services are here to make specific tasks :

encode : this service is based on the most famous open source tools in the encoding's world : ffmpeg and its differents libraries (libfaac, libx264, ...). But you can use mencoder too.
package : the objective is not to encode the video asset, but to change the format. Some tools are available :
MP4Box : to manage MP4 files or MPEG-DASH
f4fpackager : to generate HDS, you will need to deploy the HDS module for Apache in the delivery platform
mediasegmenter : to generate HLS
FLV2DTSC : to generate DTSC if you want to use MistServer (a solution I told in previous articles).
transferts : at the end of a process, you will need to transfert the asset to a destination. Transfert workers is able to use some protocols : FTP, SCP, HTTP, etc... So you can push the content to the delivery storage.

All of this services can be in the same physical server. If you have more assets to manage and generate, it is possible very easily to scale up. Workers can be deploy on dedicated server and the bus service is here to manage the network. You can add another service manager to add redundance. Thoses updates will have a impact on the reliability of the platform.

Here is one solution which include the most part of those precepts : Transcodem. You can fork this project on GitHub too.

Delivery

Ok, now your assets are ready to deliver and are in the delivery storage. In our architecture, we want to stream content based on HTTP protocol (HDS, HLS, Smooth Streaming). You can start with one physical server, but all tools and the architecture I expose can scale up easily to many physicals servers. We have many tools to help us :

HTTP webservers : Apache, NGinx, Lighttpd and differents plugins (module origin from Adobe to stream HDS for example)
Media servers : Red5, MistServer

And if your platform will support a high load, you can use proxy cache solution like Varnish. I gave in a previous post a solution to deliver content with Varnish and MistServer.

To finish, you can split the two part or merge them in one infrastructure. I am opened to talk about this architecture and which tools we can use to deploy it.

Play with ffserver - a quick overview

2013-07-04T11:04:00+02:00

Everybody knows ffmpeg the command line encoding tool but do you know ffserver ? ffserver is a multimedia streaming server for live broadcasts. With it, you can stream over HTTP, RTP and RSTP.

Quick overview

The concept is to use ffmpeg to push content to one server. This server will transcode streams and deliver to the end-users.

Input streams are called feed and for each feed you can have multiple output stream.

We can manage ffserver via a configuration file. The syntax is close to the one used for Apache server. You can find a example here. And there are more informations in the ffserver wiki.

We will see two examples on how to deliver content via a ffserver. There will be a FLV and a WebM stream.

Stream FLV

In this example, we will have one input stream and two output : one in FLV and one WebM.

Here are the general configuration settings

[code language="text"]
Port 8090
BindAddress 0.0.0.0
MaxHTTPConnections 2000
MaxClients 1000
MaxBandwidth 1000
CustomLog -
[/code]

We define a status page.

[code language="text"]
\<Stream stat.html>
Format status
ACL allow localhost
ACL allow 192.168.0.0 192.168.255.255
\</Stream>
[/code]
This page will help us to monitor the server. This page is call with this url : http://localhost:8090/stat.html and you will get this page :

Now we set up the feed : storage area, max size and allowed referrers. Remember, feeds are the input of the ffserver.
[code language="text"]
\<Feed feed1.ffm>
File /tmp/feed1.ffm
FileMaxSize 1G
ACL allow 127.0.0.1
\</Feed>
[/code]
Ok, our configuration file have now a input feed. Now, we will add the first output : the FLV one. The video will be encoded in H264 for video and AAC for audio. This part is divided in 3 part :

general settings : which feed is used and output format
settings for video
settings for audio

[code language="text"]
\<Stream live.flv>
Format flv
Feed feed1.ffm

VideoCodec libx264
VideoFrameRate 30
VideoBitRate 800
VideoSize 720x576
AVOptionVideo crf 23
AVOptionVideo preset medium
AVOptionVideo me_range 16
AVOptionVideo qdiff 4
AVOptionVideo qmin 10
AVOptionVideo qmax 51
AVOptionVideo flags +global_header

AudioCodec aac
Strict -2
AudioBitRate 128
AudioChannels 2
AudioSampleRate 44100
AVOptionAudio flags +global_header
\</Stream>
[/code]

The first part of our server is now configured and saved in a ffserver.conf file. We can test it. Launch the server with this command line :
[code language="bash"]ffserver -f ffserver.conf[/code]
You will have this output :
[code language="bash"] ffserver version 1.2.1 Copyright (c) 2000-2013 the FFmpeg developers
built on Jun 24 2013 10:41:49 with Apple clang version 4.1 (tags/Apple/clang-421.11.65) (based on LLVM 3.1svn)
configuration: --prefix=/opt/local --enable-swscale --enable-avfilter --enable-libmp3lame --enable-libvorbis --enable-libopus --enable-libtheora --enable-libschroedinger --enable-libopenjpeg --enable-libmodplug --enable-libvpx --enable-libspeex --enable-libass --enable-libbluray --enable-gnutls --enable-libfreetype --mandir=/opt/local/share/man --enable-shared --enable-pthreads --cc=/usr/bin/clang --arch=x86_64 --enable-yasm --enable-gpl --enable-postproc --enable-libx264 --enable-libxvid --enable-nonfree --enable-libfaac
libavutil 52. 18.100 / 52. 18.100
libavcodec 54. 92.100 / 54. 92.100
libavformat 54. 63.104 / 54. 63.104
libavdevice 54. 3.103 / 54. 3.103
libavfilter 3. 42.103 / 3. 42.103
libswscale 2. 2.100 / 2. 2.100
libswresample 0. 17.102 / 0. 17.102
libpostproc 52. 2.100 / 52. 2.100
Wed Jul 3 14:02:01 2013 FFserver started.
[/code]
Your server is now up and running. We can push our first movie, in my case, I use the Sintel Movie trailer. The ffmpeg command line read the video and push it to the feed we configured above.
[code language="bash"][/code]ffmpeg -i sintel.mp4 http://localhost:8090/feed1.ffm[/code]
Now you can launch your preferred player (in my case VLC) and try to stream the content : http://localhost:8090/live.flv ;-)

Stream WebM

Ok we have now one FLV output stream. We will replace FLV stream by one new output : WebM (with Vorbis and VP6). We will re-used the ffserver.conf file and put this part :

[code language="text"]
\<Stream live.webm>
Feed feed1.ffm
Format webm

AudioCodec vorbis
AudioBitRate 64

VideoCodec libvpx
VideoSize 720x576
VideoFrameRate 25
AVOptionVideo flags +global_header
AVOptionVideo cpu-used 0
AVOptionVideo qmin 10
AVOptionVideo qmax 42
AVOptionVideo quality good
AVOptionAudio flags +global_header
PreRoll 15
StartSendOnKey
VideoBitRate 400
\</Stream>
[/code]

Restart the server and push again the content. You can test the movie on Chrome or VLC with this url : http://localhost:8090/live.webm

Note: with WebM, you can create a kind of live stream if you loop on different ffmpeg command line.

To conclude, we know ffmpeg as one of the most useful free encoder. Now, ffserver is a very interesting tool and deserve more time to test the different possibility of it.
Have fun with it ! ;-)

Mistserver - Optimize the HTTP delivery via caching

2013-04-18T16:24:00+02:00

In the previous post, we looked the new features of MistServer (version 1.1).
Today, I expose an idea exposed by a friend Nicolas Weil. We talked about the content caching for an architecture based on Mistserver especially for HTTP based format. We thought about Varnish, an HTTP accelerator. The idea is to keep in cache the different fragments which are generated by MistServer. This article will not talk about the RTMP or TS part, theses protocols are not HTTP based.

To make this test, I use on the same server MistServer and Varnish. Here is the architecture.

As you look, my Mistserver HTTP based protocols are on 8081 port. The operating system is Ubuntu and I follow this tutorial to install Varnish. Then I setup Varnish and fill which is his backend. Open the /etc/varnish/default.vcl and update thoses lines :

backend default {
    .host = "127.0.0.1";
    .port = "8081";
}
sub vcl_recv {
    set req.grace = 30s;
    return (lookup);
}
sub vcl_pipe {
    return (pipe);
}
sub vcl_pass {
    return (pass);
}
sub vcl_init {
    return (ok);
}
sub vcl_fini {
    return (ok);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.X-Cache = "cached";
        } else {
                set resp.http.X-Cache = "uncached";
        }
        return (deliver);
}

To help on debug, I add in vcl_deliver a X-Cache header with values cached - uncached. HTTP files will be in cache during 30 seconds. You can change the value very easier.

You can optimize the configuration but it's not the object of that article and you can find many informations on the web.

To check the good configuration, get a content with curl command line. Be careful, we are not testing to call the MistServer but the Varnish cache, so we will point to the port 80 not 8081.

$ curl -I http://ip_address/dynamic/mystream/manifest.f4m

Check the HTTP header :

HTTP/1.1 200 OK
Cache-Control: no-cache
Content-Type: text/xml
X-UID: 0f4405cc8b4b43312a8f35d7ba0b043e_sintel_dynamic
Content-Length: 815
Accept-Ranges: bytes
Date: Thu, 11 Apr 2013 14:30:19 GMT
Age: 0
Connection: keep-alive
X-Cache: uncached

You can see the uncached value on the last line.
If you make a new call, before the end of the 30s of cache, the content will be in Varnish cache and MistServer is not called :

HTTP/1.1 200 OK
Cache-Control: no-cache
Content-Type: text/xml
X-UID: 0f4405cc8b4b43312a8f35d7ba0b043e_sintel_dynamic
Content-Length: 815
Accept-Ranges: bytes
Date: Thu, 11 Apr 2013 14:30:21 GMT
Age: 2
Connection: keep-alive
X-Cache: cached

This is the magic of HTTP caching ! ;-) Mistserver is not used when content is cached by Varnish.

You can check too with the varnishlog tools to see if Varnish call the backend or not.

If you want to use this kind of configuration for production for example, you can apply this kind of architecture : multiple varnish caches (called edges), as physical servers, in front of Mistserver (called origin).

You can divide by many the load on the origin server and Varnish was created for this kind of usage.

To finish, you can apply this kind of configuration for VoD or Live. For VoD, the cache lifetime can be more than 10 minutes, for live, I advise a short cache lifetime, the reason are simple to understand.

Have fun !

MistServer - new features for the version 1.1

2013-04-11T20:45:00+02:00

I made last year a post to introduce a new streaming server : MistServer. From this article, I follow all the updates made by the team. The DDVTech team released the server in version 1.1 the 31th March. The changelog is available too.

Some important formats were updated in this new version : HLS and Smooth Streaming, HTTP Progressive. They added too MPEG TS protocol. The interface get some updates too for a better management. And the most important, the server gets many improvements.

The interface

The main update on the interface is for the protocol section. The Limits are now only available in the LTS (you need to buy it, but it's only 299€).

The list of the protocols available is more cleanest.

To add or edit a protocol, you will get a specific form. You can choose HTTP or HTTP based protocol, RTMP and TS. We will see the different protocols below.

Formats supported

In this version, new formats are now supported or the performance to deliver was improved. MistServer interface is very easy to use and manage if you want to make a try. For the HTTP based protocol, you need to create first a HTTP protocol on a specific interface and port.

HTTP Dynamic Streaming

This format was already available in previous version, but the template of the url changed :

http://[ip_address]:[port]/dynamic/[stream_name]/manifest.f4m

You can test the content with an OSMF player.

HTTP Smooth Streaming

The Microsoft's protocol works now well with the last version. I tested it 3 months ago but the video doesn't stream well (lags, buffering, etc...). It's now fixed.

http://[ip_address]:[port]/smooth/[stream_name].ism/Manifest

Here is a distant Smooth player

HTTP Live Streaming

This format is used by the iOS devices (iPhone / iPad / iPod) and by some Android devices.

http://[ip_address]:[port]/hls/[stream_name]/index.m3u8

You can test your content with an Quicktime player or a VLC player.

This format is currently in progress. The dev team is improving the performance of this format.

HTTP Progressive

With MistServer, you can deliver too the content via HTTP Progressive download. You just need to call the movie as a FLV file or MP3 file (for audio only).

http://[ip_address]:[port]/[stream_name].flv
http://[ip_address]:[port]/[stream_name].mp3

You can read flv with a Flash based player. Or, I read a specific trick (on Mist mailing list) for Android, you just make a \<a> link pointing to the flv. Android detects MimeType and suggests one of the player.

RTMP

RTMP is a format provided by Adobe. You can read RTMP stream with some players.
In MistServer interface, add a new protocol RTMP. By default, the port is 1935.

rtmp://[server]:[port]/*/[streamname]

As the CTO of DDVTech told me, TS is a raw stream. You can deliver a single stream once you are connected to. In the interface, you need to provide which stream you want to deliver.

tcp://[server]:[port]/

You can try the stream with VLC for example.

To conclude, this version makes available some good functionalities and the team help us quickly on the different communication channels (GoogleGroup, IRC). To avoid the load, we can make some optimization in the architecture based on Mist. We will see it in a next post. Have fun when you test it !

Update 18/04/2013 : DDVTech published a version 1.1.1 with some bug fixes (changelog).

REST cookbook

2013-03-08T10:53:00+01:00

A new small blog post where I sticked informations or links about Rest and Restful :a style of architecture for distributed softwares. This post will be updated each time I have new links.

Restful is stateless. The main goals of Restful architecture are scalability, availability and agnotiscs technologies between software (via an common interface). A new Internet draft is out, it names RESTful Authentication Pattern and will help to design your architecture.

If you will deploy this type of architecture, you can read this slideshare which give best practices to design API (a webinar is available too). To design a Restful architecture, you need to design your URI. There is another good document made by Apigee : Web API Design - Crafting interfaces that Developers love [PDF file]

Here is some examples of API architectures:

Optimizing the Netflix API

To conclude, there is a tool to assist you on your development : Rest-client. It's a Java app (so cross-platform) to test your Restful webservices.

Release of cloud services to manage media contents

2013-02-12T11:55:00+01:00

The beginning of this year 2013 is full of news in the transcoding cloud world. The two main platforms announced the release of their own solutions :

Microsoft with Azure Media Services (the 22th of January)
one week later Amazon with Elastic Transcoder (the 29th of January)

I made some posts to introduce Azure Media Services (part 1, part 2) available after May 2012. Here is a quick overview to compare those different services.

Platform Models

Here is a quick overview of each platform models.

Amazon Elastic Transcoding

Azure Media Services

Functionnalities

This table exposes the differents features supported by each solutions.

[table id=3 /]

Both solutions give the opportunity to create our own presets but there are also some generic presets available : for iDevices, for mobiles, generic profiles for SD and HD.

Pricing

Each cloud company applies its own pricing, not based on the same parameters.

On Amazon side, the price is based on output content duration. You have two prices :

for Standard resolution (less than 720p) : 0,072€ per minute
for HD (more than 720p) : cost of SD x 2 per minute

Microsoft, on the other side, applies on Azure Media Service a pricing on encoded GigaBytes processed. They count input and output datas. The pricing begins at 1,99\$ by GigaBytes up to 5TeraBytes / Month. It reduces when you use more the service. This prices don't include the storage on Amazon S3 or Azure Storage.

To choose the good one, you need to make a table to compare, it depends of your usage. I will try soon to expose one or more architectures based on those two services to manage video assets. So keep in touch ;-)

AWS re:Invent 2012 - selection of interesting media tracks

2013-01-18T13:54:00+01:00

The Amazon Web Services re:Invent conference was done in last November at Las Vegas. There was some talks about different applications or different usage of the cloud solution provide by Amazon. I selected 3 of them which can be very interesting and talked about the media processing : the Netflix architecture, how to scale, etc...

Netflix’s Transcoding Transformation

Scalable Media Processing

Addressing Security in Media Workflows

Precision about HTTP streaming format in Adobe Media Server

2013-01-04T14:31:00+01:00

To begin this new year, I make this post on a subject which can introduce misunderstandings. Previously, Adobe named it streaming server : Flash Media Server (aka FMS) v4.5. In october 2012, Adobe release a new version and recalled the server: Adobe Media Server (aka AMS) v5.0.1. Some acronym used in FMS are the same in AMS, but this is not the same "products" (e.g. PHLS). In this post, I will give some input on live streaming format and especially about security applied on.

HTTP Dynamic Streaming (HDS)

Adobe Media Server is abled to stream (and so repack) 3 HDS formats :

HTTP Dynamic Streaming (HDS)

This is the common HDS format created by Adobe. A HDS content contains 1 XML based manifest file (.f4m), 1 index file (.f4x) and 1 file contained the fragments (.f4f).

Protected HTTP Dynamic Streaming (PHDS)

PHDS adds encryption on the content without using a DRM system like Adobe Access. The content is only encrypted, there is no right management.

To improve your security, you can use too SWF verification. One or more players are declared in a whitelist on the server and only this players can stream contents.

HTTP Dynamic Streaming associate to Adobe Access

To apply some rights on your content, you apply some rules via a DRM system. The Adobe Access license server is optimized to use with HDS. You need to declare on the server some informations from the license server and which DRM policy you want to use.

HTTP Live Streaming (HLS)

In a previous post, I talked on the Flash Media Server 4.5 setup, to be more precise on PHLS setup. There is a big difference, so here, forget the formats in FMS ;-) Adobe Media Server is abled to stream 4 HLS formats. The first is the common HLS and 3 others.

Vanilla

In AMS, Vanilla is the HLS format with an AES-128 encryption applied on the content. You can stream the content with all Quicktime based players (like the player on iOS devices).

Protected HTTP Live Streaming (PHLS)

Here is the main difference between PHLS on FMS and PHLS in AMS. In FMS, PHLS is the HLS with AES. In AMS, PHLS is an encryption on your content without using a DRM system.

HTTP Live Streaming associate to Adobe Access

Like HDS with Adobe Access, you can apply a full DRM solution on HLS. Please notice, this functionality is only available with Adobe Access v4.

For the two last formats, the content can only be streamed by a specific player provided by Adobe.

To finish, when you read the documentation on Adobe developer website, be careful you read the doc related to the good version of the streaming server. Some link in AMS 5.0 reported to the FMS 4.5 ;-)

Adobe Flash Media Server 4.5 - Setup PHLS live stream

2012-12-19T17:26:00+01:00

Here is a How to, the objective is to demonstrate the setup of a PHLS live stream. PHLS means Protected HLS : the custom format of HLS by Adobe. The protection is realized with a AES-128 encryption on the content. To make this configuration, you need a streaming server which will push content via RTMP. Some live transcoders are available from ElementalLive to ffmpeg. And you need too a Adobe Media Server 4.5 installed to complete this how to. All I write in this post is available via the FMS documentation.

Setup HLS live stream

First, we will push not one, but multiple RTMP streams. Remember, HLS is an adaptive bit rate protocol, so you need to use some bitrate as input. FMS will rewrap the content to the good output. In this case, I will push 4 stream at 200, 400, 600 and 800 kbits/s.

But where do we push the content ? Here is the template url :

rtmp://ams_address/livepkgr/stream_name?adbe-live-event=event_name

Apply this template with the previous data (192.168.0.2 is the address of the FMS), we will have :

rtmp://192.168.0.2/livepkgr/200k?adbe-live-event=mylive
rtmp://192.168.0.2/livepkgr/400k?adbe-live-event=mylive
rtmp://192.168.0.2/livepkgr/600k?adbe-live-event=mylive
rtmp://192.168.0.2/livepkgr/800k?adbe-live-event=mylive

Ok, now we will check if the stream are correctly pushed. Have a look on the FMS administration and go to Manage Server -> Select the server -> Applications

Another solution, to check the content is correctly pushed, is to connect to the server via ssh, in my case (I used Linux), and check if there is some files in /mnt/applications/livepkgr/events/_definst_/eventname* * like this kind of files :
MTQ1OTkwMzc5OQ=.stream or NDE3MDY5NTk0OQ=.stream**. It can be useful to check the presence of this files in order to manage your live stream platform based on FMS.

Then, and here is the magic of FMS :-), you can watch you content... to be more precise, you can stream each bitrate separately with the player:

http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/200k.m3u8
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/400k.m3u8
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/600k.m3u8
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/800k.m3u8

Try the differents URLs in iOS device, Quicktime or VLC and you can be able to view the live content. We have some single bit rate stream and at the beginning of this post, I wanted an adaptive bit rate live stream .

So finally, we create a m3u8 manifest file which contains our different sub-streams (the manifest for each bit rate).

[bash]
#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=200000
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/200k.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=400000
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/400k.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=600000
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/600k.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=800000
http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/800k.m3u8
[/bash]

Put this file at the root folder of FMS and try again with the player (for example the address will be at : http://192.168.0.2/manifest.m3u8). You can view the stream adapt to the band-with available. ;-)

Add encryption and setup PHLS live stream

We made a big part of the job. We have HLS live stream which is adaptive to the bandwidth. The question is how to encrypt the content and this operation will be made by Adobe Flash Media Server. To do that, we need to change configuration files. When you change the configuration, you need to restart FMS :

rootinstall/server restart

The encryption is possible at 3 different levels :

server
application
event

An application is composed by different events. The configuration will be applied to every event in application. The file is located :
rootinstall/applications/application_name/Application.xml

At event level, the configuration files are located in:
rootinstall/applications/application_name/events/_definst_/event_name

If you want all streams (VoD, Live via RTMP, Live via HTTP) will be encrypted, you do it at the server level. The configuration will be updated in :
rootinstall/Apache2.2/conf/httpd.conf

For this example, we apply the configuration on the server level, so in the httpd.conf. To do it, we will add three directives in the file :

HLSEncryptionScope : declare the scope in which the encryption is applied (server or content)
HLSEncryptCipherKeyFile : the location of the encrypted key file.
HLSEncryptKeyURI : the URI added in the manifest file. The file defined in this directive is the same as HLSEncryptCipherKeyFile directive

There is a key file provided when you had installed FMS. It is located in rootinstall/phls/ and named liveevent.bin. Update the Apache configuration file with the good directive's value. The directive are located in the tag :

[bash]\<Location /hls-live>[/bash]

Here is an example

[bash]
\<Location /hls-live>
HLSHttpStreamingEnabled true
HttpStreamingLiveEventPath "/mnt/applications"
HttpStreamingContentPath "/mnt/applications"
HLSMediaFileDuration 8000
HLSSlidingWindowLength 6
HLSFmsDirPath ".."
HLSM3U8MaxAge 2
HLSTSSegmentMaxAge -1

HLSEncryptionScope server
HLSEncryptCipherKeyFile "../phls/liveeventkey.bin"
HLSEncryptKeyURI "http://192.168.0.2/hls-key/liveeventkey.bin"

Options -Indexes FollowSymLinks
\</Location>
[/bash]

Ok, save the file. As you can see, the key will the available at this url http://192.168.0.2/hls-key/liveeventkey.bin but if you try to access it, the file is in 404. It is normal, you need to add one thing in the httpd.conf : the hls-key is not defined, so you need to setup it.

[bash]
\<Location /hls-key>
HLSEncryptHostCipherKey true # if true, this is the cypher key location
HLSFmsDirPath ".." # the folder of the AMS
HLSEncryptKeyRepository "../phls" # the folder where the keys are located
\</Location>
[/bash]

Save the file again and restart the server.

You can now test the stream (http://192.168.0.2/manifest.m3u8) with a HLS player (iOS or Quicktime). To validate the content is encrypted, download one of the substream for example http://192.168.0.2/hls-live/livepkgr/_definst_/mylive/200k.m3u8. You find this line :

[bash]#EXT-X-KEY:METHOD=AES-128,URI="http://192.168.0.2/hls-key/liveeventkey.bin",IV=0XU806869759IJTE74645447[/bash]

If you look it, your content is encrypted, you can now enjoy streaming PHLS live :-)

Sources :

Mistserver - a new multimedia streaming server - First overview

2012-12-10T14:41:00+01:00

Mistserver is a open-source multimedia streaming server developed by DDVTech a company based in Netherlands. This server will support some technologies : HLS, HDS, Smooth Streaming, RTMP, ...

For the moment, HDS, RTMP and progressive download are available. You can push too livestream via RMTP. The company have two others solutions : MistSteward, MistCenter.

DDVTech positions his solution in a competitive market with some actors : Adobe Media Server, Wowza, Red5, Apache, ...

The solution is open-source so the source code is available on GitHub.

The main idea, in the server architecture, is to have a specific process for each viewer. The main concept design is modularity via some Server API.

For this first quick overview, I use a Virtual Machine based on Ubuntu 64bits. In the download section of the site, you have some statics binaries. In my case, I compile the library and the server. You need to install some packages before, if they are not already installed :

apt-get install pkg-config openssl-dev g++

Then, just follow the QuickStart page. When it's finished, have a look on administration home page.

Ok, now I will stream a VoD content. To do that, you need to use a FLV file (named here movie.flv). Please take care when you use the commandline MistFLV2DTSC : you need to have the \< > in your command. The video is piped in the MistFLV2DTSC and then output in the dtsc file.

MistFLV2DTSC < movie.flv > movie.dtsc
MistDTSCFix movie.dtsc

Now, add your content in the administration portal. Go in Protocols and add a new one. You can add 2 types of protocols : HTTP or RTMP and associate it to a port. The interface is the network interface you want to use.

Ok, so your server is set-up to stream file on HTTP and port 8080. Without adding one protocol, you can't be able to stream a content.

Now, add our video (the movie.flv file). Go in Stream, fill a name and a source (the location of the file in the server). You will see in the server log (available via the Administration interface or via shell)

[STRM] New stream test

After few moment, the status updates to Available. You can now preview the content, click on Embed then Preview.

To finish, you can access to your content via differents url for the differents protocols :

for FLV : http://server_address:port/movie.flv
for F4m : http://server_address:port/movie/manifest.f4m

Next step is to set-up a live stream and playing with the server, but this is for another post ;-)

Update 12th April 2013 : Release of version 1.1

Packaging adaptive bitrate VOD content on the fly

2012-10-30T13:40:00+01:00

The actual market on the OTT use Adaptive Bit Rate video format over HTTP (Smooth Streaming, HTTP Dynamic Streaming, HTTP Live Streaming and MPEG-DASH soon) to deliver the content. I make this analyse without integrate the DRMs system which is a big topic itself. Here is an overview of the different format available for each platform.

[table id=1 /]

The matrix is a kind complex; all this technologies are multibitrate, so for one asset, you need to transcode for each bitrate. Each technology is different and use his own specification :

[table id=2 /]

If I follow the specifications given by the manufacturers (HLS) or if I'm basing on 4 bitrates for the others formats (Smooth Streaming, HDS), I need to transcode more than 20 times the same asset.

There is an option to avoid and reduce significatively the number of transcoding tasks : the packaging on the fly. This article will only analyse the on-demand side, not the live.

Packaging on the fly is possible. If you look the second table, you will see all format can be encoded in H264 and AAC, so you would streamline the number of transcoding tasks from 20 times to 8. I take 8 because this is the number of bitrate given for the iPad encoding video recommandations.

The main idea is : have one ABR streaming format in input, repack in a server the content in anyone others formats. To do that there is different solutions, I group them by type :

solution self-hosted
solution provided by a CDN
solution provided by a Cloud services

Solution self-hosted

Adobe Media Server

Adobe Media Server (previously called Flash Media Server - FMS) is the media server provided by Adobe Systems. The real-time packaging was released in FMS 4.5 for HLS and HDS. The input file will be a f4v or mp4 file (setup to play on-demand MBR)

Currently, there is no support of Smooth Streaming protocol. I don't know if Adobe's team planned it in their roadmap.

Adobe Media Server v5.0.1 (the last one) can be installed on multiple platforms : Linux CentOs, Microsoft Windows Server, Red Hat.

Unified Streaming Platform

Unified Streaming Platform is provided by CodeShop, a dutch company. For VOD content, the idea is to provide from one unified source (based ISM or F4M files) to every ABR format : HLS, HDS, Smooth Streaming, MPEG-DASH.

To deploy the platform, you need 2 tools :

mp4split packager which convert mp4 files to fragmented format
a module for webserver (Apache, Nginx, Lighttpd, IIS) which convert on the fly the input format to the asked output format.

The fact the solution is based on a module for common webserver, it is very easy to monitor.

There is a link to view a demo at the bottom of USP website.

Spectrum

Seawell Networks, a company based in Portland, Oregon, develop Spectrum. You can use 2 format in input : HLS or Smooth Streaming. In the output, the software provide 3 formats : HLS, Smooth Streaming and HDS.

There are interesting features in this software which are added to the main one :

the advertising insertion dynamically
the real-time analytics
management via APIs

Wowza Media Server

Wowza is a US company based near Denver in Colorado. The first version was released in 2007 to provide a low cost solution compared to FMS. In Wowza Media Server version 3, released in 2009, they gave the option to use one format to deliver every devices.

The server is available on many platforms : Windows Server, all Linux distributions, Unix and Solaris. You can manage it from an administration UI. Some API (based in Java) are available to create and deploy your own add-on.

If you want more, you can ! Because Wowza give the opportunity to use an add-on which transcode on-the-fly : you have non-H264 input file, the add-on transcode in H264.

Solutions provided by CDN

Akamai Sola Vision

his own solution of repacking on the fly : Sola Vision.

The input format is a simple MP4 file. You don't need to package your content in one of the ABR format. The solution prepare the content to be streamed in HLS, HDS or FLV.

The main advantage is you have a all-in-one solution : content packaging and distribution via the Akamai infrastructure around the world.

Limelight Deliver Anywhere

Limelight announced too their own solution : Deliver Anywhere. The content is transformed into the good format : Smooth, HLS.

As Akamai, you can have access to the CDN infrastructure to deliver your content. You can access to complementary services like authentication via MediaVault, Bandwith control, watermarking...

Solutions provided by Cloud services

Windows Azure Media Services

Windows Azure Media Services was out in preview at the end of last spring. This solution provide some tools to manage and work on videos. One of the last feature which will be implemented in the cloud solution is called Dynamic Remux. One single MP4 file is stored and the asset can be encrypted dynamically and packaged :

Playready for Smooth, DASH and HLS
AES-128 for HLS.

As you can see, there is some solution which is available and can respond to your problematic. You can implement one of them in your infrastructure for production or use one of them to manage overload or burst for example.

You have the name of the tools, it's your job to find the good application. If you need it ;-)

Microsoft Azure Media Services – How to encode in the Azure Cloud – Part 2

2012-09-12T14:58:00+02:00

After the first post which give an overview and explain how set-up a WAMS environment, I continue the discovery of WAMS World (sorry for the pun ;-)). In this post, we will see how we can transform a video from a input format to another format. It's possible to generate multiple output format or to encrypt the video. But we will see it in a next posts.

First of all, we need to understand the different terms we will use in WAMS. In my example, I want to obtain this workflow :

create an asset : an asset is an entity which contains all informations on the video (metadata, ...)
upload a file in blob storage and associate to the asset
apply a job on the asset. A job is composed by one or more tasks. A task is an action : eg: encoding with protection. To run the task, we use a MediaProcessor.
after the job completed, deliver the video via the Azure CDN.

Create an asset

As I said previously, the AMS is based on REST, so you use HTTP verbs to make an action. Here is the PHP class, I used to make API call (I completed the code given in previous post):

[php]class Rest{
protected \$strUrl;
protected \$strToken;
protected \$strBody;
public function __construct(){
\$this->requestToken();
}

private function generateData(\$arrData){
return implode('&', \$arrData);
}

public function requestToken(){
if (file_exists(TOKEN_STORAGE)){
echo 'Get Token from storage'."\n";
\$data = file_get_contents(TOKEN_STORAGE);
\$arrToken = json_decode(\$data);
if ((filemtime(TOKEN_STORAGE) + \$arrToken->expires_in) > time()) {
\$this->strToken = \$arrToken->access_token;
} else {
echo 'Token expired'."\n";
unlink(TOKEN_STORAGE);
\$this->requestToken();
}
} else {
echo 'Get new token from API'."\n";
\$arrData = array(
'grant_type=client_credentials',
'client_id='.CLIENT_ID,
'client_secret='.urlencode(ACCESS_KEY),
'scope=urn%3aWindowsAzureMediaServices'
);
\$arrHeader = array(
'Content-length:'.strlen(\$this->generateData(\$arrData))
);

\$ch = curl_init();
curl_setopt(\$ch, CURLOPT_URL, TOKEN_URL);
curl_setopt(\$ch, CURLOPT_POSTFIELDS, \$this->generateData(\$arrData));
curl_setopt(\$ch, CURLOPT_HTTPHEADER, \$arrHeader);
curl_setopt(\$ch, CURLOPT_RETURNTRANSFER, true);
\$data = curl_exec(\$ch);
curl_close(\$ch);

\$arrToken = json_decode(\$data);
if (isset(\$arrToken->error)){
print_r(\$arrToken);
die();
}
\$this->strToken = \$arrToken->access_token;
file_put_contents(TOKEN_STORAGE, \$data);
echo 'Token save in storage'."\n";
}
return \$this->strToken;
}

public function request(\$arrData = array()){
\$ch = curl_init();
\$arrHeader = array(
'x-ms-version:1.0',
'DataServiceVersion:3.0',
'MaxDataServiceVersion:3.0',
'Authorization: Bearer '.\$this->strToken,
'Content-Type: application/json;odata=verbose',
'Accept: application/json;odata=verbose'
);
echo 'Call API:'.\$this->strUrl."\n";
curl_setopt(\$ch, CURLOPT_URL, \$this->strUrl);
curl_setopt(\$ch, CURLOPT_HTTPHEADER, \$arrHeader);
curl_setopt(\$ch, CURLOPT_HEADER, true);
curl_setopt(\$ch, CURLOPT_RETURNTRANSFER, true);
if (!empty(\$arrData)){
curl_setopt(\$ch, CURLOPT_POSTFIELDS, json_encode(\$arrData));
}
\$data = curl_exec(\$ch);
\$arrInfo = curl_getinfo(\$ch);
curl_close(\$ch);

list(\$strHeader, \$strBody) = explode("\r\n\r\n", \$data, 2);

if (\$arrInfo['http_code'] == 301){
if(preg_match('`\s*Location:\s(.+)`i', \$data, \$arrTmp)){
\$arrTmp[1] = trim(\$arrTmp[1]);
Register::getInstance()->setIndex('base_url', \$arrTmp[1]);
\$this->strUrl = \$arrTmp[1].\$this->getVerb();
echo 'Redirection to '.\$this->strUrl."\n";
\$this->request(\$arrData);
}
} else {
\$this->strBody = \$strBody;
}
}

private function getVerb(){
\$arrUrl = explode('/', \$this->strUrl);
return array_pop(\$arrUrl);
}
}[/php]

You can look, the code manages the token, so you only need to make the API call.

Now, we will create an asset. To do that, we need

an asset name; in my case : first_sintel_test.
the URI of the API : https://wamsbluclus001rest-hs.cloudapp.net/API/Assets

We will create an asset with POST verb.

[php]class Asset extends Rest{

public function __construct(){
parent::__construct();
}

public function createAsset(\$strName) {
\$strAPIname = 'Assets';
\$this->strUrl = 'https://wamsbluclus001rest-hs.cloudapp.net/API/'.\$strAPIname;
\$arrCreate = array('Name' => \$strName);
\$this->request(\$arrCreate);
}
}

\$obj = new Asset();
\$str = \$obj->createAsset('first_sintel_test');

print_r(json_decode(\$str));
[/php]

Ok, the server answers, the asset was created. Now, we will verified by listing the different asset. The method below will be added to the previous one.

[php]public function listAsset() {
\$strAPIname = 'Assets';
\$this->strUrl = Register::getInstance()->getIndex('base_url').\$strAPIname;
\$this->request();
return \$this->strBody;
}
[/php]

Note the asset ID, you need it after. Now, we call the list Asset API.

[php]
\$obj = new Asset();
\$str = \$obj->listAsset();

print_r(json_decode(\$str));
[/php]

Good, we have our first_sintel_test asset with his creation date, his status and some others properties. You can filter to get informations about one asset by adding the ID (a unique identifier).

Now, we can upload our file in blob storage.

Upload a file and associate to asset

To upload a file and associate to an asset, you need to give access via policies (time duration and permission: read, write, delete,...). You can create the policy, the process is the same like the Asset creation. Note the access ID, you need it after.

[php]
\$obj = new AccessPolicy();
\$str = \$obj->createAssetPolicy('sintel_policy', 30, 2);
print_r(json_decode(\$str));
[/php]

We have now a policy to upload the file, we have to get a URL path to upload by created a Locator. When it will be created, it will available in the Asset list API. To create a Locator, you need 4 informations :

the asset ID (you noted it before)
the access policy ID (noted it too)
the start time : this one is to give the access in the future or now (have a look on documentation's tips to give access immediately).
the type of access (SAS, Origin or Azure CDN)

Ok, now we can upload the file with Windows Azure Storage Services REST API. You can check that your video was uploaded correctly via the Azure Portal : Storage -> Select your storage -> Containers and you can see it :

Now, before process the video we need to publish the asset. Take care on the Content-length header's value, it needs to be set at 0. I make a little update on the code.

[php]
public function request(\$arrData = array(), \$strTypePost = false){
....
echo 'Call API:'.\$this->strUrl."\n";
if (\$strTypePost && empty(\$arrData)) {
curl_setopt(\$ch, CURLOPT_CUSTOMREQUEST, 'POST');
\$arrHeader[] = 'Content-Length: 0';
}
curl_setopt(\$ch, CURLOPT_URL, \$this->strUrl);
....
\$this->strUrl = \$arrTmp[1].\$this->getVerb();
echo 'Redirection to '.\$this->strUrl."\n";
\$this->request(\$arrData, \$strTypePost);
....
}[/php]

Then, you will receive a 204 header code.

Create a job

Ok, now, we have the asset and the file. But, in which format do we want to transcode ? Microsoft give us a list of presets to make Task on WAMS : transcode in differents commons formats (for example iOS), apply protection (via PlayReady DRM) or rewrap contents from Smooth to HLS. I choose this preset : H.264 iPod Classic / Nano. We can apply multiple tasks on an asset, but we will this it in a next post.

Let's go to create our first job and apply a task preset.

[php]class Jobs extends Rest{

public function __construct(){
\$this->requestToken();
}

public function listJobs(){
\$strAPIname = 'Jobs';
\$this->strUrl = Register::getInstance()->getIndex('base_url').\$strAPIname;
\$this->request();
return \$this->strBody;
}

public function createJob(\$strName, \$strAssetUri, \$strConfig, \$strProcessor, \$strTaskBody) {
\$strAPIname = 'Jobs';
\$this->strUrl = Register::getInstance()->getIndex('base_url').\$strAPIname;

\$objMedia = new stdClass();
\$objMedia->__metadata->uri = \$strAssetUri;

\$objTask = new stdClass();
\$objTask->Configuration = \$strConfig;
\$objTask->MediaProcessorId = \$strProcessor;
\$objTask->TaskBody = \$strTaskBody;

\$arrCreate = new stdClass();
\$arrCreate->Name = \$strName;
\$arrCreate->InputMediaAssets[] = \$objMedia;
\$arrCreate->Tasks[] = \$objTask;

\$this->request(\$arrCreate);
return \$this->strBody;
}

public function cancelJob(\$assetId) {
\$strAPIname = 'CancelJob?jobid=';

\$this->strUrl = Register::getInstance()->getIndex('base_url').\$strAPIname."'".urlencode(\$assetId)."'";

\$this->request();
return \$this->strBody;
}
}[/php]

This class provides methods to list, create and cancel a job. Here is a API creation call :

[php]
\$objJob = new Jobs();
\$str = \$objJob->createJob('EncoreSecondSintel', \$assetUri, \$strConf, \$strProcess, \$strTaskBody);
print_r(json_decode(\$str));
[/php]

\$assetUri is given when you create the asset, \$strConf is the preset we choose (the string H.264 iPod Classic / Nano), \$strTaskBody is a XML string :

[xml]\<?xml version="1.0" encoding="utf-16"?>
\<taskBody>
\<inputAsset>JobInputAsset(0)\</inputAsset>
\<outputAsset>JobOutputAsset(0)\</outputAsset>
\</taskBody>[/xml]

There is a last parameter : \$strProcess. This is the ID of the MediaProcessor we want to use. There is 4 types of MediaProcessors :

Storage Decryption
Windows Azure Media Encoder
MP4 to Smooth Streams Task
PlayReady Protection Task
Smooth Streams to HLS Task

In our case, we are using the Windows Azure Media Encoder, so apply the associated ID give by the MediaProcessor API on the \$strProcess param.

Ok, now we can create a Job. The Job entity have different properties :

Job ID
Time datas (creation, end of task, running duration,...)
State
Tasks details. This parameter provide us some additionnals informations like the performance :

EncodeTime: 00:00:20.9047240
Avg CPU Load: 70.3% Avg Active Core: 3.9/4
Download: 00:00:02.1264505
Upload: 00:00:09.4015013

Great, the job is running, we can follow the progression with the listJobs() method.

When the job is done, the movie is on blob storage in Azure. There is few solutions :

download the movie
publish the movie on the Azure CDN (for streaming)

In our case, we will download the movie with Windows Azure Storage Services REST API. After few seconds (or minutes it depends on your movie size), you will have the video on your local storage and view it.

To finish :

the transfert (upload/download : on/from Azure and from AzureStorage to MediaService instances) on the differents files seems to take more time than the transcoding process
for a good usage, you need to understand all the entities available and how they will be implemented
there is many possibilities, so don't hesitate to test the multiple combinaison you think. I will make other(s) post(s) on this subject.

Microsoft Azure Media Services - How to encode in the Azure Cloud - Part 1

2012-08-24T15:25:00+02:00

I open a serie of posts which will talk about this solution. Microsoft announced at the end of spring the preview of Windows Azure Media Services. WAMS form an extensible media platform that integrates the best of the Microsoft Media Platform and third-party media components in Windows Azure.

Overview

WAMS can transform movie in differents formats and codecs :

Supported video and audio codecs:
H.264 High, Main and Baseline Profiles
AAC-LC
HE-AAC
VC-1 (Windows Media Video 9) Simple, Main and Advanced Profiles
Windows Media Audio Standard
Windows Media Audio Professional
Supported format conversions:
ISO MP4 (.mp4) to Smooth Streaming File Format (PIFF 1.3) (.ismv; .isma)
Smooth Streaming File Format (PIFF) to Apple HTTP Live Streaming (.msu8, .ts)

For the moment, you can only make VoD video.
It is already possible to encrypt your content (via PlayReady DRM). You can manage it via .NET or REST API. I'm not a .NET developer, so I will try the solution via API. My code side will be in PHP.

Setup

First of all, you need to setup your account to use WAMS. Currently, the setup is only possible via Powershell, but it will change via the Azure portal. For this step, you need a Windows, but after you can use other OS.

To connect to Media services, you need two things : 1) an access token provided by Windows Azure Access Control Services (ACS) and 2) the URI of Media Services itself. To get the token, you make a OAuth request with the parameter you get when you setup your account : the access key and the client ID. Different libraries are available in different langage to make this kind of request, for me, I create a simple PHP method to manage it.

[php]class Rest{

    protected $strUrl;

    protected $strToken;

    protected $strBody;

    public function requestToken(){
        if (!file_exists(TOKEN_STORAGE)){
            echo 'Get Token from storage'."\n";
            $data = file_get_contents(TOKEN_STORAGE);
            $arrToken = json_decode($data);
            if ((filemtime(TOKEN_STORAGE) + $arrToken-&gt;expires_in) &gt; time()) {
                $this-&gt;strToken = $arrToken-&gt;access_token;
            } else {
                echo 'Token expired'."\n";
                unlink(TOKEN_STORAGE);
                $this-&gt;requestToken();
            }
        } else {
            echo 'Get new token from API'."\n";
            $arrData = array(
                'grant_type=client_credentials',
                'client_id='.CLIENT_ID,
                'client_secret='.urlencode(ACCESS_KEY),
                'scope=urn%3aWindowsAzureMediaServices'
            );
            $arrHeader = array(
                'Content-length:'.strlen($this-&gt;generateData($arrData))
            );

            $ch = curl_init();
            curl_setopt($ch, CURLOPT_URL, TOKEN_URL);
            curl_setopt($ch, CURLOPT_POSTFIELDS, $this-&gt;generateData($arrData));
            curl_setopt($ch, CURLOPT_HTTPHEADER, $arrHeader);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            $data = curl_exec($ch);
            curl_close($ch);

            $arrToken = json_decode($data);
            if (isset($arrToken-&gt;error)){
                print_r($arrToken);
                die();
            }
            $this-&gt;strToken = $arrToken-&gt;access_token;
            file_put_contents(TOKEN_STORAGE, $data);
            echo 'Token save in storage'."\n";
        }
         return $this-&gt;strToken;
    }
}[/php]

The AMS response will contains the token. If you make many calls, I suggest to cache the access token, the expires_in value and the timestamp of the request to avoid unnecessary calls.

Now, we have a token to access, we can play with the Azure Media Services. We will see it in next posts.

Le streaming vidéo adaptatif via HTTP : une réalité...

2012-07-16T10:07:00+02:00

Dans le domaine de la vidéo en ligne, l'une des principales questions ces dernières années fût de migrer des technologies classiques de streaming (RTSP, MMS, RTMP...) vers du téléchargement via HTTP. Et ceci pour plusieurs raisons :

les coûts moins importants
le filtrage, les 'anciens' protocoles étaient souvent filtré par les pare-feux
HTTP ne demande pas de configuration particulière

Ces nouveaux formats deviennent prépondérant notamment dans le domaine des médias.

Le principe

Le concept se présente de la manière suivante : différents débits de la même vidéo sont segmentés, voire fragmentés (ces morceaux de vidéos sont appelées des chunks). On liste ces différents segments dans différents fichiers manifestes permettant ainsi l’ajustement d’un débit à l’autre par le client. Le lecteur de ce dernier teste ainsi régulièrement l’état du débit et télécharge le meilleur segment suivant dans sa mémoire tampon (comme le montre la figure suivante).

L’introduction de ces technologies a permis d’un côté de réduire le coût en bande passante pour la diffusion et la mise en cache de contenu et de l’autre d’optimiser l’expérience utilisateur quelque soit son débit. En revanche, les coûts ont augmentés d’une part en terme de temps de préparation de contenus (notamment en raison des multiples transcodages) ; d’autre part, en terme de stockage de ces mêmes contenus (au lieu d’un seul fichier auparavant, on se retrouve maintenant avec un nombre important de petits fichiers).

Il est important de noter qu’en réalité, les technologies de streaming en multi-débit ne sont pas des technologies de streaming à part entière comme par exemple RTMP ; elles se basent sur le téléchargement progressif des contenus sur le protocole HTTP.

Les formats actuellement disponibles

HTTP Live Streaming (HLS)

Encore à l'état de brouillon (en version 8) mais fortement déployée, cette technologie est propulsée par Apple. On rencontre des vidéos HLS notamment sur les plateformes iOS (iPhone, iPad, iPod). On peut également en retrouver sur Android (depuis la version 3.0 : Honeycomb) et sur certains modèles de télévisions connectées. HLS se présente sous la forme de manifestes (fichiers textes .m3u8) et de segments vidéos (.ts). Il est possible de chiffrer les segments via l'algorithme AES. Le lien vers la clé de chiffrement est indiqué dans le manifeste. L'un des gros avantages de HLS est qu'il est possible de diffuser les contenus depuis n'importe quel serveurs HTTP (Apache, NGinx, ...).

NB: dans le cadre d'une soumission d'applications pour l'Apple Store, il est nécessaire de se fier aux spécifications vidéos en fonction de la plateforme cible.

J'avais abordé la vidéo sur iPhone dans un précédent billet.

Smooth Streaming

Smooth Streaming est fortement lié à l'environnement de développement Silverlight de Microsoft. La diffusion de Smooth Streaming s'effectue via des serveurs IIS intégrant le module Smooth Streaming. La structure d'une vidéo Smooth Streaming se présente sous la forme suivante:

un fichier manifeste ISM
des fichiers vidéos ISMV correspondant aux différents débits

Smooth Streaming est utilisé via le plug-in Silverlight pour PC/Mac, sur la Xbox et sur les terminaux mobiles Windows Phone 7.

HTTP Dynamic Streaming (HDS)

HDS est supporté par Adobe. Fonctionnant sur le même principe que HLS ou Smooth Streaming, HDS est défini via des fichiers manifestes au format XML : F4M et des segments vidéos au format F4V. Une présentation de HDS est déjà disponible.

Pour conclure, il y a cependant un problème à tout cela, il reste toujours 3 formats de diffusion; les impacts sont notamment la multiplicité des encodages des vidéos (et je n'ajoute même pas la gestion de DRM...).

Une solution pourrait tout de même résoudre cela : MPEG-DASH (Dynamic Adaptive Streaming over HTTP). Les différents acteurs citées dans l'article participent à sa définition. Si cette nouvelle technologie était appliquée sur l'ensemble des "écrans", une grande partie des problèmes cités disparaîtrait. Une affaire à suivre...

Organisation des Amazon Web Services

2012-06-22T14:16:00+02:00

Cette semaine a eu lieu à Paris, l'AWS Summit, premier événement du genre organisé par Amazon en France. Il a reuni 2 à 300 personnes.

La journée était découpée en deux parties :

la matinée consacrée à une présentation générale ainsi que deux retours d'expérience (Visiware et Sodexo),
l'après-midi, plus technique, a permis de voir plus en détails certains des services proposés par Amazon au travers d'exemple d'architecture

Dans ce billet, je vais reprendre l'organisation des différents services proposés sur AWS. Ils sont au nombre de 30 disponibles sur 5 couches.

NB: je m'excuse par avance de la qualité des photos...

Couche 1 : Infrastructure globale d'Amazon Web Services

L'infrastructure est organisée en 3 parties:

- les **régions**: correspondant aux endroits où se situent les datacenters d'Amazon. [Il en existe actuellement 7](http://docs.amazonwebservices.com/general/latest/gr/rande.html) : 3 aux Etats-Unis, 1 en Europe, 1 en Amérique du Sud, 2 en Asie (en jaune sur la carte). - les **zones de disponibilités** : au sein d'une même région, il est possible de regrouper des instances d'Amazon au sein de zone de disponibilités.[](/images/2012/06/Concepts_Regions_Zones.png) - les **edges** : ce sont des points d'entrées de CloudFront disponible à travers le monde (en bleu sur la carte) A noter qu'il existe également une région uniquement disponible au gouvernement américain.

Couche 2 : Réseaux

Si vous possédez déjà une infrastructure, il est possible de la connecter via un VPN sur le cloud d'Amazon, permettant aux instances Amazon ainsi d'être sur le réseau privé de l'infrastructure.

Couche 3 : Services de calcul de stockages et de base de données

C'est sans doute le service le plus connu d'Amazon : Amazon EC2 pour Elastic Compute Cloud, ce dernier correspond une instance disposant d'une capacité de calculs et de traitements.

Lors de l'utilisation de multiple instances EC2, il est possible de gérer la charge entre ces instances via l'Elastic Load Balancing et d'augmenter leur nombre automatiquement via l'Auto Scaling.

Côté système de stockage, un autre service connu d'Amazon Simple Storage Service (Amazon S3). Il est conçu pour fournir une 99,999999999% de durabilité et 99,99% de disponibilité des objets sur une année donnée et permettant de stocker de 1 à 5 To de données. Ce service est uniquement accessible via HTTP, il est donc tout à fait indiquer pour le stockage de données type média.

Pour stocker les données hors des instances des EC2, Elastic Block Store répond à la demande. Un de ces atouts est d'avoir une très haute disponibilité, il est donc fortement recommandé lorsque l'on utilise des bases de données.

Enfin, AWS Storage Gateway permet d'effectuer des sauvegardes de vos bases (dans votre propre infrastructure par exemple) pour la reprise de services depuis le nuage. L'objectif étant de réaliser une sauvegarde à un instant de vos données.

Côté base de données, on pourra au choix utiliser des bases de données relationnelles (MySQL ou Oracle) via Amazon RDS et des bases de données NoSQL via Amazon DynamoDB.

Couche 4 : Ecosystème d'application de services

Au dessus des 3 premières couches, il est possible d'installer et d'utiliser les applications.

Tout un ensemble d'applications sont disponibles depuis la sécurité aux tests en passant par les services de développeurs. Des applications spécifiques sont bien entendus également installables.

Amazon met à ce sujet à disponible un espace d'achat/vente de services : l'AWS Marketplace

Couche 5 : Déploiement & Administration

Après avoir choisir votre "structure" de services dans le Cloud d'Amazon, vous allez devoir administrer et déployer.

Pour cela Amazon met à disposition un ensemble de services :

AWS Management Console : c'est la console qui va vous permettre de gérer l'ensemble de vos services Amazon.
AWS Identity and Access Management (AWS IAM) permettra de gérer l'accès aux services et ressources
Amazon CloudWatch est le service de CDN (Content Delivery Network) qui se base sur l'ensemble des Edges (présenté dans la couche 1)
AWS CloudFormation facilitera le travail collaboratif entre les développeurs et les administrateurs.
AWS Elastic Beanstalk automatisera le déploiement de vos ressources ou applications (via les push sur Git par exemple).

Tout ceci montre ainsi l'organisation globale des services Amazon. Tous les services n'ont pas été listés ils sont en effet 30 actuellement. AWS est un service sur étagère permettant de sélectionner le ou les outils dont vous avez besoin.

Dernier point, en créant en compte, il est possible de tester (dans une certaine mesure) une grande partie des services AWS pendant 12mois.

FIMS une architecture SOA dans le monde média

2012-01-27T11:00:00+01:00

Afin de répondre à l'émergence de la vidéo sur les nouveaux canaux médias et pour permettre leur diffusion, les systèmes d'informations permettant le traitement des contenus sont de plus en plus hétérogènes. On voit ainsi différentes technologies au sein d'un même système d'information : pour la capture, la transformation des contenus vidéos.

Pour répondre à cette problématique, une task force s'est mise en place : AMWA-EBU FIMS task force.

Cela nous fait beaucoup d'acronymes, voici leur explication :

AMWA : Advanced Media Worklfow Association, cette association a pour mission d'améliorer et développer l'utilisation des standards médias.
EBU : European Broadcasting Union a une mission similaire à l'AMWA en regroupant des européens
FIMS : Framework for Interoperable Media Service

Le framework FIMS est basé sur une architecture SOA et permet l'interopérabilité entre les différentes entités d'un SI média. Ce framework normalise ainsi leurs échanges en s'intercalant comme moyen de communication.

Le projet a été présenté pour la première fois en 2011 lors des gros événements du Broadcast : le NAB (à Las Vegas en avril) puis de l'IBC (à Amsterdam en septembre). Il est actuellement en version 1.0 et rentre dans sa seconde phase. En plus d'être piloté par l'AMWA et l'EBU, des acteurs importants du monde de la vidéo les ont rejoints : Sony, Harmonic, BBC. Le wiki regroupe l'ensemble des documents et des ressources liés à ce projet.

Qu'est ce que le HTTP Dynamic Streaming ?

2012-01-26T09:12:00+01:00

Cet article est une traduction de l'article de John Crosby : What is HTTP Dynamic Streaming ? Jusqu'à maintenant, la livraison de contenu vidéo sur HTTP était distribué en téléchargement progressif, ceci signifie que pour lire une partie ou rechercher un endroit spécifique dans la vie, vous devez attendre que cette partie se télécharge. Le protocole RTMP permet de réaliser une recherche à n'importe quel endroit du contenu vidéo via streaming, mais requiert une technologie serveur telle que Flash Media Server (produit Adobe) pour effectuer cela.

HTTP Dynamic Streaming ou HDS combine HTTP (téléchargement progressif) et RTMP (téléchargement en streaming) permettant de délivrer un contenu vidéo en streaming sur HTTP. Ceci signifie :

Une technologie de serveur de streaming n'est pas requise, il est juste nécessaire d'avoir un serveur HTTP (ex Apache)
Les clients peuvent accéder et commencer à lire un contenu 'instantanément'
Les clients peuvent rechercher des endroits dans la vidéo qui n'ont pas encore été téléchargés.

…et tout cela sur le protocole HTTP.

Il y a un certain nombre de choses que vous devez prendre en compte lorsque vous démarrez avec HTTP Dynamic Streaming.

D'une part, un serveur media pour streamer le contenu n'est pas requis, mais le server Web Apache avec le Module HTTP Origin l'est. Le module HTTP Origin est un module Apache gratuit à l'utilisation fournit par Adobe, et est pré-installé et configuré avec le Flash Media Server quand vous installez le serveur web fourni. L'installation et la configuration du module sera couverte dans un autre article.

D'autre part, le contenu vidéo devra être 'préparé' pour HTTP Dynamic Streaming avant d'être déployé sur votre serveur. Votre workflow de création de contenu devra être ajusté pour accueillir votre contenu vidéo dans un format de fichier F4F. Il existe un outil, le f4fpackager, qu'Adobe a créé pour faire cela pour vous.

La préparation de ces contenus fera l'objet d'un prochain article.

Changement de thème

2012-01-24T17:13:00+01:00

Je trouvais depuis un certain temps que mon blog n'était pas très visible et peu agréable à l'oeil. Un petit rappel du précèdent thème :

J'ai donc décidé après une longue recherche de mettre en place le nouveau thème actuellement présent sur le site.

N'hésitez pas pour vos remarques.

FFmpeg, le couteau suisse gratuit de la vidéo

2012-01-23T16:01:00+01:00

Je travaille avec le logiciel ffmpeg. C'est un outil en ligne de commande utilisé comme base pour beaucoup d'outils plus haut niveau dans le domaine de l'encodage vidéo. L'application est également fortement utilisé par des purs players de la vidéos sur la toile. FFmpeg est complété par une ensemble de librairies : libavcodec, libavformat ou encore libx264 pour le H.264 dont je parlerais plus à la fin du billet.

Commencer sur une bonne base (FR) tiré de la documentation Ubuntu, il permet de voir les premières commandes. Ce petit manuel (en anglais) reprend les différentes options de bases possibles.

Pour aller plus loin, Fabio Sonnati a réalisé 4 articles beaucoup plus poussés. Il est un des experts mondial dans le développement de plateformes média, l'optimisation de la diffusion diffusion et l'encodage des vidéos. Le nom de ces billets veut tout dire : the swiss army knife of Internet Streaming part 1, part 2, part 3, part 4

L'encodage au format H.264 représente 99% des vidéos disponibles sur Internet. Lorsque l'on veut travailler sur ce type d'encodage, il est important de connaître les différents options qui sont offertes entre ffmpeg et la librairie.

HDS - Late Binding Audio avec OSMF

2012-01-20T09:47:00+01:00

Vous allez me dire, mais qu'est ce que ce titre signifie en réalité ? C'est assez simple, je vais décomposer :

- HDS pour HTTP Dynamic Streaming est un protocole de diffusion des vidéos (créé par Adobe). Le principe est similaire au HTTP Live Streaming utilisé sur les iPhone et iPad (j'avais présenté ce protocole).
Late Binding Audio : comprenez par là la possibilité d'avoir plusieurs pistes audios associé à un flux vidéo
OSMF pour Open Source Media Framework, un framework Flex utilisé pour la gestion des vidéos.

Mon article est tiré d'un article en anglais, j'y ajoute cependant quelques points de détails.

Récupéré une vidéo

Dans un premier temps, vous allez devoir récupérer une vidéo et la préparer dans différents formats. Pour préparer ces vidéos, j'ai utilisé ffmpeg (boîte à outils pour le traitement des vidéos) et transcodé les vidéos en MP4.

la vidéo originale avec l'audio encodé en format FLV ou un format compatible MP4
la piste audio seule provenant de la vidéo originale également au format FLV ou MP4

ffmpeg -i scenes.mp4 -vn -acodec copy -f mp4 scenes-audio1.mp4

une piste alternative audio, de préférence de même durée que la vidéo originale, encodé de la même manière* *

ffmpeg -i scenes2.mp4 -vn -acodec copy -f mp4 scenes-audio2.mp4

Packager la vidéo avec les outils f4fpackager

Afin de préparer le contenu, Adobe a rendu disponible un outil : le FilePackager ou f4fpackager; disponible sous Linux ou Windows. On effectue un package pour chacune des vidéos

f4fpackager --input-file=scenes1.mp4 --output-path=test-lba
f4fpackager --input-file=scenes-audio1.mp4 --output-path=test-lba
f4fpackager --input-file=scenes-audio2.mp4 --output-path=test-lba

Vous vous retrouvez maintenant avec les fichiers suivants :

scenes1.f4m
scenes1Seg1.f4x
scenes1Seg1.f4f
scenes-audio1.f4m
scenes-audio1Seg1.f4x
scenes-audio1Seg1.f4f
scenes-audio2.f4m
scenes-audio2Seg1.f4x
scenes-audio2Seg1.f4f

Créer le fichier f4m principal

Nous allons manipuler le fichier f4m afin de prendre en compte les pistes audios. Pour cela, il faut récupérer dans les balises bootstrapInfo et media dans les fichiers scenes-audio1.f4m et scenes-audio2.f4m et les copier dans le fichier scenes1.f4m à la suite de la balise media

                AAABS2Fic3QAAAAAAAAADgAAAAPoAAAAAAAEBWoAAAAAAAAAAAAAAAAAAQAAABlhc3J0AAAAAAAAAAABAAAAAQAAAEIBAAABBmFmcnQAAAAAAAAD6AAAAAAPAAAAAQAAAAAAAAAAAAAQaAAAAAIAAAAAAAAQkAAAETAAAAADAAAAAAAAIegAAA2sAAAABAAAAAAAAC+AAAATiAAAAAUAAAAAAABC4AAADhAAAAAGAAAAAAAAUPAAABEwAAAABwAAAAAAAGH4AAAPoAAAACEAAAAAAAH0KAAAD6AAAAAiAAAAAAACA6AAABS0AAAAIwAAAAAAAhhAAAAPoAAAAD0AAAAAAAOqcAAAD6AAAAA/AAAAAAADyWAAABEwAAAAQAAAAAAAA9poAAAPoAAAAEIAAAAAAAP5WAAADBwAAAAAAAAAAAAAAAAAAAAAAA==



                        AgAKb25NZXRhRGF0YQgAAAAAAAhkdXJhdGlvbgBAcHjU/fO2RgAFd2lkdGgAQIaAAAAAAAAABmhlaWdodABAeUAAAAAAAAAMdmlkZW9jb2RlY2lkAgAEYXZjMQAMYXVkaW9jb2RlY2lkAgAEbXA0YQAKYXZjcHJvZmlsZQBAU0AAAAAAAAAIYXZjbGV2ZWwAQD8AAAAAAAAADnZpZGVvZnJhbWVyYXRlAEA5AAAAAAAAAA9hdWRpb3NhbXBsZXJhdGUAQOdwAAAAAAAADWF1ZGlvY2hhbm5lbHMAQAAAAAAAAAAACXRyYWNraW5mbwoAAAACAwAGbGVuZ3RoAEFZIZgAAAAAAAl0aW1lc2NhbGUAQNhqAAAAAAAACGxhbmd1YWdlAgADZW5nAAAJAwAGbGVuZ3RoAEFoIQAAAAAAAAl0aW1lc2NhbGUAQOdwAAAAAAAACGxhbmd1YWdlAgADZW5nAAAJAAAJ

Ajouter des attributs au tags media dans le f4m principal

Pour faire fonctionner le multi-audio, il faudra rajouter les balises suivantes :

alternate = "true"
type = "audio"
lang="français"
bitrate=" "

Une fois tout cela prêt, vous aurez à compiler la dernière version de OSMF et à lire la vidéo en appelant le f4m principal que vous venez de préparer.

[Tribune] La 3D est l’évolution logique du cinéma

2012-01-10T14:09:00+01:00

Je fais profiter de mon blog à Antoine Cabrera-Marchal (@3dproductionsfr) pour réaliser un article au sujet de la 3D. Personnellement, j'ai du mal avec la 3D peut être parce que j'ai du mal avec l'immersion. Je vous laisse cependant le parcourir.

Avant-propos

Alors, pour être très clair et très précis, on ne dit pas 3D mais relief ou stéréoscopie… La terminologie 3D étant un abus de langage pour désigner les films ou animations réalisés ou convertis en 3D stéréoscopique, permettant la restitution de l’image en relief, notre vision naturelle.

Depuis 2009 (année du re-lancement contemporain de la 3D relief à destination du grand public), j'entends de ci et de la des pseudos journalistes (tout juste méritant un cachet de pigiste pour un site Internet ayant 4 semaines de retard sur l'actualité hi-tech... Evitez les sites avec des chiffres binaires terminant par .net, car de valeur, ils n'ont que leur nom) critiquer avec véhémence ce qui est communément appelé la 3D.

On arrête de polémiquer sur l'arrangement de l'industrie qui cherche à vendre un nouveau matériel, à renouveler les gammes, à vendre, à vous faire dépenser, cracher, enrichir les actionnaires !!! A croire que les avancées technologiques n'étaient qu'un complot du conglomérat technico financier du CAC40 et du NASDAQ pour s’engraisser sur le dos des consommateurs victimes de ce qui brille… Oui, les consommateurs sont des victimes car on les force à acheter…

Et Non ! Les films en reliefs ne sont pas un effet de mode, c’est une réelle évolution technologique des loisirs vidéo et vidéo-ludiques. Ce n’est pas un petit pas technique mais un grand pas pour l’humanité !

Bref !

De la photographie au cinéma en relief

Je suis Lyonnais, et si j'ai bien une belle fierté, c'est de vivre dans la ville qui a vu naitre le cinéma ! Cherchez dans Wikipédia, je ne vais pas vous faire l'article… On a une avenue des Frères Lumière (c'est un indice :) )

Le premier film muet en n&b

Vous êtes un peu au courant de cette représentation ou un train entre dans une gare et ou les téléspectateurs effrayés quittent la salle ? Non… Google… J'ai la flemme de tout vous mâcher… http://fr.wikipedia.org/wiki/L'Arriv%C3%A9e_d'un_train_en_gare_de_La_Ciotat http://www.youtube.com/watch?v=hlb3XKjnZkE

Et puis ?

Ces gens ont juste été surpris par quelque chose de nouveau, d'inhabituel, ils connaissaient les /images fixes, Louis Daguerre et son daguerréotype.

D'une image fixe, on est passé à une image qui bouge… J'entends déjà les premiers grincheux… Qu'est ce que ça apporte ? On avait de superbes photos en n&b et la elles bougent ??!! Ca n'apporte rien à la beauté des corps, des monuments, que l'on peut observer, fixes ; apprécier, éternels… La photo figeait le temps, dans les films, on n’a plus le temps de voir… Des grincheux je vous dis…

Etant photographe, je vous garantie que la lumière est la composante la plus importante pour réussir un cliché, il faut essayer, tourner, atténuer, déplacer, approcher, ... Mais il n’est pas question de se passer de cela dans les films !

Le cinéma en couleur

Puis vient la couleur... Je saute les étapes du parlant, etc… car je ne suis pas assez cultivé... Inculte pour certains lecteurs, j'en suis convaincu…

Une pomme rouge, verte, jaune ? Personnellement, rien qu'à l'évocation, je ressens l'acidité de la granny smith, le coté farineux de la rouge que je mettrais volontiers sur un lit de pate feuilletée… et la jaune passe partout sucrée… En n&b, mon esprit trop imparfait aurait ressenti, … une pomme … avec un goût de … pomme ! :)

Ok des /images avec ces couleurs, c'est bien mais bon… Le noir et blanc a le mérite de faire ressortir les sentiments, les tensions, des nuances que la couleur ne traduit pas… La lumière et le contraste d'une photo en n&b fait passer l'essentiel, le principal... La couleur… ça sert à quoi ? Ce n'est qu'un message qui perturbe le principal, un peu de jaune, de bleu de rouge et ça détourne le message réel d'un cliché non ?… L’exemple de la pomme montre que la couleur ajoute des éléments, évoque des sens complémentaires.

Ce baiser serait-il le même en couleur ?

Et bien non, la couleur n'enlève rien aux nuances de contrastes et de lumière d'un cliché, la couleur apporte de la chaleur, une fraicheur, des sens com-plé-men-taires !
L'erreur serais de mettre de coté le cadre, la circulation de la lumière sur le corps d'une femme, de la statue de David (il en faut pour tous ;) ) pour apporter une touche de bleu ou rouge…. Au passage, un article intéressant.

Mais dites donc… Connaissez-vous des peintres en n&b à part l'œuvre Guernica de Picasso ?

Donc FILM… N&b pour des raisons techniques puis couleur… Vous avez bien saisi l’apport des différentes techniques ?

Parenthèse : Question : rêvez-vous en n&b ou couleur ? Quand la télé couleur n’existait pas, les gens rêvaient en n&b ? Il y a pas mal de publications scientifiques sur le sujet.

Alors… oui, il y a eu des efforts dans les films n&b… mais la couleur… Vous a-t-elle apporté un semblant de sentiment supplémentaire ? Regardez-vous encore des films en n&b ? Vous apportent-ils plus de plaisir ? La liste de Schindler, Sin City ?

La couleur a indéniablement apporté quelque chose de plus, y compris la liste de Schindler ! Il y a des couleurs liées à des sentiments. Une atmosphère glaciale, bleuetée, comme si l'on ouvrait la porte d'un frigo… Ou une atmosphère chaleureuse, romantique, teintée de rouge, lors d'un diner romantique….

Et la haute définition ?

La haute définition… rien que des pixels en plus… rien à ajouter, enfin oui, c’est plus joli, net… la qualité semble meilleure… Le rendu de la réalité est plus fidèle …

En parlant de fidélité avec ce que l’on souhaite représenter, je rappelle que l’on a toujours existé dans les 3 dimensions voir 4 si l’on inclus le temps qui passe (ou plus, mais on ne va pas s’étendre sur les suivantes), c’est du relief animé… Le reflet de la réalité !

Et on en arrive enfin aux films et animations en relief

A ce jour, c’est cette forme de cinéma qui représente au mieux la réalité et qui ajoute une dimension aux animations.

Ce qu’il faut bien comprendre, c’est que l’on n’enlève rien au cinéma couleur, on ajoute une dimension, donc des possibilités, des émotions !
On n'exclue pas le scénario, la narration, les intrigues, on ajoute de la profondeur, on se rapproche encore de la réalité, de nos rêves, on facilité notre capacité à transposer le personnage héroïque avec notre vie…

Le gain

Le relief, c'est l'immersion, c'est plus de proximité avec le film, c'est jouer avec les héros… vivre avec, ressentir à leur cotés, éprouver le déséquilibre, avoir le vertige, ressentir la vitesse, toucher, avoir un frisson lorsque l'épée de Pirates des caraïbes transperce l'écran…!!!

Comme pour le son spatial qui ajouté une dimension incroyable aux films, le relief nous intègre dans l’action !
Une petite expérience : écoutez un morceau en mono, avec un casque, avec un système 5.1 ou 7.1… Franchement, il n'y a pas …"PHOTO" ! Pourriez-vous vous en passer aujourd’hui ?

On veut des sensations !

Certains attendent d’un film que ça bouge de partout, que les couleurs soient incroyables, mais ce n’est pas le cas général.
Pour les films en relief, certains attendent qu’il y ait des effets de profondeur et de jaillissement partout et ils sont déçus que les films ne soient pas pleins de ces artefacts mais ils ne représentent pas non plus la majorité !

Les publicités Haribo ou Oasis (je fais de la pub, envoyez-moi des caisses de bonbons et des cannettes siouplé) sont bluffantes, pleines d’effets de jaillissement vers les spectateurs, on a envie d’attraper les chamalows au vol, ou on détourne la tête pour éviter les fruits… Mais ce sont des effets de parcs d’attraction ! Comme dans le réel, ces effets fatiguent les yeux. Un film en relief ne doit pas nécessairement comporter cela. Vous donner le vertige lorsque le héro se penche sur une falaise, c’est déjà bien :-) Le vertige oui, la nausée, non !

Et après ?

La 3D relief réveille, éveille nos sens, après les 3 dimensions de l’espace, on imagine plus de sensations : odorat, mouvements, ce que l'on appelle la 4eme dimension dans les parcs d'attraction par exemple. C'est une révolution ou le rêve et l'évolution se mêlent, s'emmêlent !
On peut également imaginer une autre évolution dans laquelle la captation ou la réalisation des films permettrait de reconstituer l’ensemble du volume d’une scène, puis de s’y aventurer en devenant soit même le cadreur. Encore un autre débat…

* Antoine Cabrera-Marchal*

PHPTour 2011 - Retour des deux journées

2011-12-05T16:34:00+01:00

L'AFUP a mis en place cette année un nouvel événement : le PHPTour qui est itinérant et s'est déroulé pour la première fois à Lille. J'avais publié la liste des conférences auxquelles je pensais assister. Cet article sera surtout un retour rapide sur certaines des sessions qui je pense sont à retenir voire à étudier.

PHP 5.4

Julien Pauli a pris le relais de David Soria Parra (malade) pour réaliser la présentation de PHP 5.4. On retiendra les points suivants en terme de process :

Une release php par an (pour suivre ubuntu)
Possibilité de publier une RFC (Requests For Comment)
Durée de vie 3ans pour une version
Cassage de compatibilité uniquement entre les releases majeures

Côté code, on notera :

*new SessionHandler, *
une amélioration de la CLI
le mixins pour les traits
E_ALL contient E_STRICT
Passage du code svn à Gît
Amélioration performance sur temps d'exécution et mémoire (

Xquery - XML

Jai souvent vu dans des articles des éléments sur XQuery, mais je ne m'étais jamais penché sur la question. J'aurais sûrement dû car c'est un sujet à creuser dans le cas où le XML est à manipuler. Deux informations principales sont à retenir :

Xquery permet de faire de la lecture, des recherches, du streaming de fichiers XML
L'importation d'un fichier XML de 700Mo prend :
via SimpleXML 9 Go en empreinte mémoire
Xquery seulement 19 Mo

20minutes tenue en charge site média

Pour gérer une tenue en charge, il y a 3 étapes :

la mesure
la (ou les) solution(s)
l'analyse

Phpcloud

C'est l'annonce faite par Zend cette année. On y retiendra que c'est une plateforme de développement avec le debug et une grande partie des outils Zend. Pour des sociétés déjà présentes, je ne pense pas que cela soit intéressant en revanche pour un développeur indépendant ou une équipe qui se monte, cet outil permettrait d'industrialiser rapidement les choses.

Atoum

Frédéric Hardy n'a pas effectué une session technique, mais un historique de son framework de test unitaires. Les points suivants résumeront l'état d'esprit dans lequel le framework a été mis en place :

il faut apprendre à écrire des tests
Trois valeurs
Simplicité utilisation, un seul fichier à utiliser, une seule archive, autorun, langage naturel (vocabulaire évolutif), : facile, rapport complet et modifiable
Moderne version de php, isolation des tests (sandbox), parallelisation,
Intuitif, logique floue, interfaces fluides, API cohérente, choix des tests à exécuter
Gain productivité et qualité

Magento

Cette session était très intéressante, dans le sens où ce n'était pas un technicien qui l'effectuait, mais un responsable webmarketing. C'est très rare de voir ce type de personnage dans des conférences techniques et je tiens à saluer le geste. En revanche, j'ai été fortement déçu de la réaction critique de certains...

La question lors de cette session était : peut-il tout gérer ou faut-il une solution maison ? Pour toutes les plateformes dont mobile, widgets. Deux solutions avaient été retenus : Drupal et Magento. Après le choix de Magento, plusieurs surprises sont survenus; deux exemples : le dimensionnement : 1 énorme serveur pour gérer la charge et 6,55 min par produits.

Magento répondant uniquement à 20% de leur demande, ils ont préférés revenir sur des solutions maisons et plus agiles : photo mail (picassa like), outil permettant la visualisation de tribunes pour les commerciaux, mise en place d'API e-shop.

Dev/admin. Sys

Cette conférence était plutôt un retour sur les problèmes entre les équipes de développements et les administrateurs systèmes. On pourrait résumer cela à un StreetFighter. L'une des solutions peut être le DevOps. Ce terme pourrait se traduire par une philosophie par exempel : un développement aurait une meilleure connaissance de son éco-système. Ce n'est pas un métier, mais un état d'esprit.
Structuration du travail et des opérations sur toute la chaîne est très important et les bonnes interactions entre les deux entités sont primordiales pour faire avance les choses plus rapidement. Il est également important de choisir le bon outil en fonction des besoins.

Cryptologie

Cette session a été annoncée en dernière minute, mais c'était l'une des plus pointus techniquement. Sans doute en raison de la non connaissance de la plupart des développeurs des outils de cryptages. Les éléments à étudier sont

la méthode crypt().
l'extension mcrypt
l'extension hash
l'extension OpenSSL

On pourra retenir que la cryptographie ce n'est pas la sécurité et qu'il faut être en PHP5.3 pour accéder à ces fonctionnalités.

En résumé, je tiens à remercier l'ensemble de l'équipe d'organisation de l'AFUP mais également l'ensemble des conférenciers. Comme chaque année, j'ai pu revoir pas mal de personne que je connaissais. Je serais vraisemblablement présent au prochain ForumPHP qui se déroulera en juin 2012 à Paris.

Arduino 1.0 libéré

2011-12-01T08:42:00+01:00

J'en parlais dans un précédent billet, maintenant c'est officiel : la version 1.0 d'Arduino est enfin sorti. C'est finalement 1 mois et demi après l'annonce des RC que la sortie finale est réalisée.

La nouvelle mouture inclus nativement :

le support de DHCP et DNS : très intéressant dans des mises en applications réseaux
des modifications dans la classe Serial et l'intégration d'une classe SoftwareSerial
le support multiple de fichier dans le librairie SD
et beaucoup d'autres évolutions et modifications.

La note de sortie est disponible ([release note](http://arduino.cc/en/Main/ReleaseNotes)). Cette sortie également officialise la stabilité du système.

[JM2L] Présentation de l'Arduino

2011-11-28T15:01:00+01:00

Ma conférence "Présentation de l'Arduino" s'est déroulé ce week-end. J'ai pu profiter du soleil de la Riviera. Et je vous fais maintenant profiter du support de présentation, la vidéo sera disponible prochainement.

Je tiens en parallèle à remercier toute l'équipe d'organisation des JM2L et du conseil d'administration de Linux-Azur pour leur accueil et leur assistance. Je tiens à remercier tout particulier Renée Mages. J'aurais surement des sujets liés au libre pour la prochain édition.

La semaine des conférences

2011-11-21T11:27:00+01:00

Le mois de novembre est l'un des mois les plus chargé de l'année en conférence, séminaires. Pour ma part, c'est cette semaine. En effet, je serais présent à deux conférences, l'une en tant que spectateur et l'autre en tant que conférenciers.

Je pars mercredi pour suivre le PHPTour qui se déroulera à Lille jeudi et vendredi. J'ai d'ailleurs déjà effectué ma sélection de session.

Je redescendrais ensuite samedi matin sur Nice pour me rendre aux Journées Méditerranéennes du Logiciel Libre, où je réaliserais une session de présentation de l'Arduino.

Dans un cas, comme dans l'autre, n'hésitez pas à me faire signe si vous souhaitez échanger autour d'un verre ou autre petit four...

Mon programme du PHPTour à Lille

2011-11-16T11:42:00+01:00

Cette année, pas de ForumPHP à Paris faute de travaux à la Villette. Cependant, l'AFUP a mis en place une nouvelle formule : le PHPTour, un événement itinérant qui se déroulera dans une ville différente à chaque fois. Cette année, c'est à Lille et j'y serias. A ce sujet, je vous fais part de mon programme des sessions que je suivrais.

Le jeudi, je commencerais par la présentation de PHP 5.4 par David Sora Parra en session plénière. Ensuite, pour la première matinée de sessions:

Traitement XML de pointe avec PHP et XQuery
Tenue en charge d'un site média
Optimiser la performance business de votre site avec l'A/B testing.

Après un bon repas, je suivrais la conférence de Zeev Suraski qui présentera le nouveau produit phpcloud.com. J'aimerais en savoir plus sur ce sujet. L'après midi se poursuivra avec:

- La conférence sur les tests Mock, Stubs et Tests m'intéresse particulièrement car mon projet actuel me pose quelques soucis concernant la mise en place des tests - la présentation d'Atoum, le framework de test unitaire, mis en place par Frédéric Hardy - je terminerais la première journée par la présentation : Pourquoi on a abandonné Magento au profit d'un dévéloppement spécifique. Très intéressé de connaître les différents éléments qui les ont poussés à ce choix

Pour la deuxième journée :

- êtes-vous prêt pour le succès ? - Comment développer et déployer une application PHP maintenable ? J'espère pouvoir glâner des bonnes pratiques, cela peut notamment aider dans le cadre de déploiement d'applicatif PHP (non web) - Profiling PHP Applications par Derick Rethans. Je rappelle que Derick est le créateur de Xdebug entre autres... - Sécurité des applications PHP, j'attends de voir sous quel angle sera réalisé cette session

Pour la dernière demi-journée, encore une fois, j'aimerais me divisé pour aller à toutes les sessions. Mais il faut faire un choix :

- Caching and Tuning fun for high scalability - dev et admin sys : une cohabitation simplifiée... pour éviter de se taper dessus entre les deux équipes ;)

Ca fait un bon programme et je préparerais un compte-rendu des sessions que j'aurais suivi dans ce blog.

Ce robot est l'un des plus rapide du monde...

2011-11-14T15:10:00+01:00

Ce petit bijou de robotique est suisse. En plus d'être rapide, il est également extrêmement précis, ce qui lui laisse un large champ d'application.

Les moteurs sont en rotation mais en sortie le mouvement est toujours une translation. Inventé par Reymond Clavel, ce robot est inspiré de l'industrie du chocolat. Le robot avec du matériel standard atteint les 15G d'accélérations. On entend d'ailleurs parler d'un robot qui atteint les 100G.

C'est juste hallucinant. La vidéo parle d'elle-même.

Outil de Geek ultime sous Mac

2011-11-10T12:27:00+01:00

Un ami m'a fait découvrir récemment un outil que j'appellerais outil pour ultra geek disponible uniquement sous Mac. Cet outil permet d'afficher sur le bureau tout un ensemble d'informations diverses et varié. C'est à vous de faire votre propre configuration.

Cet outil s'appelle Geektool. Trois modes de fonctionnement sont disponibles :

le mode Fichier qui vous permettra de surveiller l'activité sur votre MacOS X
le mode Image qui vous permet d'afficher des graphiques, /images (assez intéressant pour avoir des graphs d'utilisation réseau ou CPU par exemple)
le mode Shell qui vous permet de lancer une commande shell

Voici par exemple, ce que j'ai mis sur mon bureau :

[](/images/2011/11/geektool.png)

Arrivée imminente de la v1.0 d'Arduino

2011-10-05T11:05:00+02:00

Ca y est, la Release d'Arduino en 1.0 arrive bientôt. Elle est en effet annoncé sur le blog Arduino. Beaucoup de choses vont évolués entre la dernière version 0 et la 1.0. Un premier résumé en attendant la traduction compléte du Changelog.
Côté IDE, le point le plus important est sans doute le changement des extensions de fichier notammement pour eviter les conflits avec le logiciel Processing. On peut également noté des évolutions au niveau de l'interface (icônes, barres de progression…).
Côté SDK, les évolutions sont bien plus importantes :

transmission série en asynchrone (via Serial) : ça laisse présager de belle mise en application
support des écritures de chaines de caractères sur mémoire Flash au lieu de la mémoire RAM
support DNS et DHCP au sein de la library Ethernet : auparavant il fallait faire appel à une lib externe ou directement passer par les adresses IP
support de plusieurs fichiers dans la librairie SD

Le boulot apporté est donc très conséquent et va permettre de réaliser des mises en application beaucoup plus complexes :)

Conférence Arduino au JM2L à Sophia Antipolis

2011-10-04T10:37:00+02:00

Je vais effectuer une conférence lors des prochaines Journées Méditerranéennes du Logiciel Libre qui se dérouleront à Sofia Antipolis les 25 et 26 novembre. J'y réaliserais une présentation sur le micro-contrôleur Arduino. Ma conférence se déroulera le samedi après-midi à 16h.

Au sommaire :

qu'est-ce que l'Arduino?
d'où vient-il ?
comment s'en servir ?
à quoi peut-il servir ?
son avenir

Je rendrais disponible la présentation une fois la conférence terminée. Les vidéos seront également disponible sur le site des J2ML

[Livre] Compression vidéo sur Internet

2011-09-21T07:47:00+02:00

Je viens de terminer la lecture du dernier livre de Jan Ozer : Video Compression for Flash, Apple Devices and Html5. Ce livre est un petit bijou. Que vous travaillez directement sur la vidéo, si vous en êtes proche ou même si vous souhaitez approfondir vos connaissances techniques, ce livre est fait pour vous.

Le livre aborde les points suivants :

une première partie aborde le H264 (le codec vidéo) en partant de la théorie pour arriver progressivement aux paramétrages et aux outils qui permettent les transcodages
une petite partie aborde WebM, VP6 et WMV
ensuite, comment préparer les contenus pour les différentes cibles : Flash, iOS, HTML5
enfin l'auteur aborde enfin des outils plus industriels, les méthodes de diffusion

Au final, ce livre est réellement à avoir dans une bibliothèque de livre technique/technologique lié au Web.

Disponible sur [Amazon](http://www.amazon.fr/Video-Compression-Flash-Apple-Devices/dp/0976259508/) (en anglais)

Le relais téléphonique le plus proche sans GPS

2011-09-20T09:41:00+02:00

Une discussion sur Twitter très intéressante s'est entamé hier soir avec @skywood. En effet, ce dernier me posa la question suivante : comment récupérer les coordonnées d'un relais téléphonique (je décrivais ces relais dans un précédent billet).

un numéro progressif : Cell ID
un code pour la zone géographique : LAC Local Area Code
un code pour l'opérateur télécom MNC Mobile Network Code
un code pour réseau national : MMC Mobile Country Code

A partir de ces informations, le téléphone est capable de se localiser via une API chez Google (à vérifier pour l'utilisation). La précision est plutôt intéressante (jusqu'à 60-90 mètres).

A propos de relais téléphonique, vous pouvez retrouver deux bases de données permettant de retrouver les positions des relais :

- OpenCellID : une base open source contenant les coordonnées GPS mais également les informations cités plus haut dans cet article - ANFR (Agence Nationale des Fréquences) : cette base regroupe l'ensemble des relais téléphoniques, des antennes de radiodiffusion et également des points de mesures

On peut également observer sur cette image la couverture des opérateurs téléphoniques :

Je crois que @skywodd souhaite en faire un projet, j'attends de voir ce que cela va donner. On verra également si l'API Google est disponible sans limite d'utilisation (ou des limites cohérentes).

Linky : un compteur intelligent ? Pas uniquement

2011-07-20T11:51:00+02:00

Linky est le nouveau compteur EDF dit "intelligent". Actuellement en test sur deux régions de France, le gouvernement prendra normalement la décision finale de déploiement durant l'été. A la base, cette décision devait être prise durant l'hiver 2011. Mais cela va nous coûter et pas uniquement sur notre porte-monnaie.

Pour la petite histoire, ce nouveau compteur fait parti d'un projet plus global de réseaux électriques intelligents au niveau européen : le Smart Grid. En France, le projet s'appelle "Linky" tout comme le nouveau compteur. Il serait mis en place dans 35 millions de foyers. Les objectifs principaux sont les réductions des coûts tout particulièrement côté EDF. En effet, ce compteur sera pilotable à distance :

oublions donc le passage d'un technicien EDF pour l'ouverture, relevé / fermeture des compteurs
en cas de non-paiement, le distributeur pourra couper l'arrivée électrique
les informations à propos de la consommation seront en temps réel.

Côté technique, la technologie utilisée sera le CPL pour relier le compteur Linky au concentrateur. Le protocole utilisé est côté réseau PLAN (norme IEC_61334) et pour la partie applicative la message COSEM (norme IEC_62056). J'ai trouvé une présentation (PDF) plus précise du protocole de COSEM. Je n'ai rien trouvé au sujet du cryptage des données lors du transport des données. A cet effet, je me pose la question de l'accès aux autres Linky depuis un point du réseau. Quelle est la sécurité associée : les informations transiteront via le CPL, mais quel sera la sécurité utilisée lors de la communication ? Une personne sera-t-elle capable via un peu de bricolage et un peu de développement d'accéder à mon compteur et y effectuer des actions ? En tant que technicien, je sais que le 100% sécurité n'existe pas, mais je souhaite tout de même connaître le risque associé...

Le compteur sera finalement payant : 120 à 240 €, étalé sur 10ans soit 1 à 2 € en plus par mois, à la base cela n'était pas prévu. Pourquoi une telle différence de prix d'ailleurs, on va tout de même du simple au double. La pose sera effectué non pas par EDF, mais par des prestataires tierces. Encore un point complètement ahurissant. De plus, et c'est un comble total là, ils ont trouvé le moyen de nous faire payer l'accès aux informations (à nos informations privées) via internet. Inadmissible !!

Des questions se posent : pourquoi devons-nous payer 3,5€ par mois pour avoir accès aux informations ? C'est comme si nous achetions un téléphone portable mais que nous devrions payer l'opérateur pour accéder aux informations de consommations (tels des appels entrants / sortants etc...). Où et comment sont stockés les données et quel est le traitement associé (en plus de celui pour EDF) ? En temps réel, le distributeur saura ce que chaque habitant fait : "Les informations de consommation d'énergie transmises par les compteurs sont très détaillées et permettent de savoir beaucoup de choses sur les occupants d'une habitation, comme leur horaire de réveil, le moment où ils prennent une douche ou bien quand ils utilisent certains appareils (four, bouilloire, toaster…)", comme l'a signalé la CNIL. Cet article d'energie2007.fr montre également qu'en fait, il serait possible de faire "sauter" ce déploiement dans le cas où l'abonné n'en tire pas d'avantages... et on peut le voir c'est le cas.

L'objectif annoncé du projet était de permettre la réduction des factures, or lors de la phase d'expérimentation, ils ont observé une réduction de 50€ environ sur l'année. Si l'utilisateur veut accéder aux données, il devra payer 3,5€ x 12 = 42 €... quel intérêt alors mis à part engraisser EDF et ses prestataires !
Pour résumé, je me pose énormément pour mon habitat et ma vie privée et actuellement, aucune réelle assurance n'est disponible sur la toile. Je suis ouvert à tout retour d'expérience ou précision plus technique sur le système.

Quelques hacks Kinnect plutôt sympa

2011-07-07T13:53:00+02:00

En quelques jours, je suis tombé sur deux vidéos assez bluffantes des possibilités offertes par Kinect. Rappelons que le SDK du Kinect est disponible sur le site de Microsoft.

Le premier exemple montre Rajarshi Roy qui a développé un outil permettant d'utiliser le Kinect pour jouer à différents jeux sur PC (ex : NeedForSpeed, Portal, etc...). On voit sur la vidéo qu'un calibrage est nécessaire afin de jouer. Le code source est également disponible, du nettoyage sera fait prochainement.

La seconde démo est elle totalement hallucinante. On y voit un homme pilotant via son Kinect un quadcopter (une sorte de ARDrone de chez Parrot). Plutôt qu'un long discours, je vous laisse lire la vidéo.

Source : Endgadget, Hackaday

Quelques protocoles utilisables en domotique

2011-07-06T13:23:00+02:00

L'objectif de cet article est d'obtenir un aperçu d'une partie des différents protocoles utilisables pour le transport de données dans le cadre d'une installation de domotique. Je vais aborder uniquement les 4 plus importants qui sont portés soient par des alliances, soit par des regroupements de sociétés.

Zigbee

C'est un standard de communication récent (début des années 2000) permettant l'échange d'informations via onde radio avec une consommation réduite. Il est porté par une alliance du même nom dont le but est de promouvoir la technologie. Les fréquences sont 868Mhz, 915Mhz et 2,4GHz à utiliser selon la zone géographique (Europe, Amérique, Monde...). Le standard s'appuie également sur la norme IEEE 202.15.4.

Le module Xbee se repose sur ce standard de communication et permet l'utilisation de ce protocole.

X10

Si vous avez une Freebox avec les prises CPL, vous connaissez déjà dans les grandes lignes le principe. En effet, tout comme le Homeplug de la Freebox, le protocole X10 est un protocole de communication par courant porteur développé dans les années 70. Il passe par le circuit électrique de l'habitation. Le protocole se base sur la sinosoïde du courant électrique alternatif pour transmettre les informations. Sa fréquence est de 120Hz.

On peut distinguer plusieurs avantages : il se base sur le circuit électrique (donc pas besoin de faire passer des câbles en plus), il n'y a pas d'ondes en plus, son coût est peu cher. En revanche, il a différents inconvénients : pas de compatibilité USA / France par exemple dû à la fréquence du courant, sensibilité aux ondes (par exemple une télévision trop proche)

EIB/KNX

C'est un standard pour le contrôle des maisons et des bâtiments. EIB (European Industrial Bus) est un standard créé à la fin des années 80, ayant pour but d'améliorer la communication entre les équipements des bâtiments et de permettre l'interopérabilité entre les équipements EIB. Le résultat donna la norme EIB/KNX. La spécification KNX fut publié en 2002. Le très bon article de l'académie d'Aix-Marseille rentre plus en détails dans cette norme.

1-Wire

C'est un protocole de communication basé sur un bus (série ou parallèle) via 2 fils : un fil pour les données et un fil pour la masse. Il est utilisé principalement pour des capteurs : températures, taux de gaz ou autres systèmes de météorologie. Il peut être également utilisé pour la gestion de l'énergie (onduleur, batteries, ...).

Naturellement, d'autres protocoles existent, cependant ils sont beaucoup moins utilisés notamment car utilisés par des sociétés moins populaires.

Crédits : Wikipedia, sparkfun

La migration IPv6 en retard sur l'applicatif ?

2011-07-01T10:11:00+02:00

Depuis quelques années et surtout depuis quelques mois/semaines, on parle de la migration IPV6 qui est à effectué d'urgence. Or, il semblerait qu'un aspect important de cette migration a été, très souvent, omise : les applications.

Petit rappel, l'IPv4 est défini par 4 décimaux séparé par des points (ex 192.168.0.2) . La valeur représente un octet (256 valeurs possibles). Afin de répondre à la problématique du nombre croissant de device, mais également pour faire évoluer et répondre à d'autres problématiques, l'IPv6 a été défini. A noter, que cette définition a démarré dans les années 90. Une adresse IPv6 sera représenté par 8 groupes de 2 octets séparés par des deux points (ex : 2001:0db8:0000:85a3:0000:0000:ac1f:800). Côté infrastructure, matériel et OS, cette évolution est intégrée depuis un petit moment ou l'intégration se termine. Ce n'est pas le cas de la plupart des applicatifs.

En sachant la différence sur les tailles des adresses, on se rend compte que les applications sont très souvent développées sur une base d'adresse v4, sauf pour les toutes dernières (et encore !). Prenons un exemple simple, j'ai une application qui tourne sur un serveur PHP avec une base de données en MySQL. Je souhaite enregistrer les IPs des personnes qui se connectent. Le champ utilisé est à 99% un VARCHAR(15) : 4 décimaux de 3 chiffres plus les 3 points. Mon évolution va consister à devoir soit ajouter un champ dédié pour l'IPv6 (en plus de la V4), soit de modifier la taille du champ en VARCHAR(39). Je ne parle pas non plus du code qui sera également à modifier.

En France, d'ici 2013 au plus tard, les FAI ont annoncé la bascule toutes les boxes (et donc tous les abonnés en IPv6). Pareil pour les téléphones mobiles. En résumé, plus le temps passe jusque cette date, plus il deviendra critique et sensible de faire évoluer les applications sans heurt. Je pense également à tous les systèmes de géolocalisation (ex la base Maxmind) qui se base sur les IPv4 et qui vont devoir également gérer la bascule IPv6.

En résumé, si vous n'avez pas encore commencé à étudier cette migration, il est temps de le faire ;-)

Piloter sa main par des impulsions électriques

2011-06-29T14:31:00+02:00

Des chercheurs de l'université de Tokyo et le Sony Computer Science Laboratories vont faciliter l'apprentissage des instruments de musique. ;-) En effet, ils viennent de développer le PossessedHand.

L'objectif de départ était de pouvoir jouer du koto.

L'appareil permet de piloter en effet le bras et la main grâce à l'envoi d'impulsion électrique via un ensemble de 28 électrodes. Chaque muscle peut être stimulé plus ou moins fortement. Le système de calibrage automatique évalue chaque relation entre l'impulsion via l'électrode et la réaction du muscle.

L'expérience montre que l'appareil est capable de gérer le mouvement de 16 articulations. Je trouve l'expérience assez impressionnante et ça démontre l'évolution des techniques de contrôles biologiques.

Source - Source New Scientist

Quizzy - une app mobile réalisée avec Titanium

2011-06-21T10:37:00+02:00

Un petit message pour vous parler d'une application mobile. Cette application se nomme Quizzy; elle est disponible sur iPhone et sur Android. Elle est gratuite.

Elle est développée par un ami : Yannick qui développe depuis 1 an environ des apps mobiles grâce à Titanium (je vous en avais parlé dans un précédent billet). Très simple d'utilisation, l'application est doté d'une base importante de quizz portant sur tous les domaines (cinéma, géographie, littérature, ...). Vous pouvez effectuer des quizz de 20 / 30 / 50 questions en mode déconnecté (très intéressant par exemple dans le métro de Lyon). Il est également possible d'afficher les résultats (par défaut, ces derniers ne le sont pas).

En plus du classement mondial (sur la communauté francophone), il est également possible de contribuer ses propres questions qui sont validés avant d'intégrer la base de quizz.

Voilà donc une application plutôt sympa qui permet de passer le temps tout en s'instruisant.

Etat de la communauté francophone Arduino

2011-06-01T11:59:00+02:00

Ces derniers temps, je me suis mis en quête de trouver une communauté Arduino francophone, ayant pour but d'échanger sur les différents projets réalisés, de pouvoir partager ces problèmes et avoir les réponses. Voici donc les différentes sources que j'ai pu trouver

la version française du site officiel http://arduino.cc/fr . La traduction est réalisé par Xavier Hinault (qui propose également le site http://www.mon-club-elec.fr/). Malheureusement, la traduction n'a pas été mise à jour depuis 9 mois et plusieurs versions du soft ont été mises à jour
la partie française du forum arduino.cc où plusieurs topics sont actifs
Semageek.com qui offre pas mal de billet sur le sujet (merci @affreuxJojo et @semageek pour les infos)
AtelierArduino rassemble un ensemble de cours sur l'Arduino
PoBot qui offre différents tutoriels

Voici également un liste de projets assez sympa liés à l'Arduino

hexapod-arduino, le concepteur a pour but de réaliser Bleuet (vous savez le petit robot dans la série Fx Effets Spéciaux)
robot autonome dans ses déplacements, réalisé par un scientifique

Au vue de toute cette communauté plutôt éparpillé, je me dis qu'il serait bien d'avoir un premier point d'entrée sur le site arduino.cc avec l'ensemble de la doc traduite mais également des liens vers les différents projets francophones. Qu'en pensez-vous ?

Tweet via l'Arduino et un PC

2011-05-30T21:15:00+02:00

Dans ma découverte de l'Arduino, ma première envie fût de réaliser un tweet avec l'Arduino grâce à la détection de courant via une de ses entrées (ou changement d'état). On s'amusera par la même occasion à faire allumer une LED. Pour cela, nous aurons besoin d'une plaque de pratique, de différents composants électronique (LED, transistors, résistance), d'un Ethernet Shield et bien entendu de l'Arduino.

L'Arduino en lui même n'est pas capable de faire un tweet, en revanche, il est tout à fait à même de faire un appel réseau via un Ethernet Shield et la librairie Ethernet. Il vous faudra donc un ordinateur également relié au réseau et sur lequel sera présent le code permettant de faire le tweet. Je me suis basé sur ce tutoriel: Envoyer un tweet simplement en PHP avec OAuth pour tweetter. Le montage donne le résultat suivant :

Pour vous aider, voici une vision plus claire grâce un petit schéma. J'ai utilisé un transistor PNP BC32725, trois résistances de 110 Ohms, une LED. Attention au sens du transistor, vous risquez d'avoir des surprises ;-)

Pour les électroniciens, le schéma suivant vous donnera une meilleure vision du montage :

Pour rappel, notre objectif est de faire un tweet depuis un changement d'état (électrique) via une des entrées de l'Arduino. Dans le schéma ci-dessus, j'ai utilisé un interrupteur pour simuler le changement d'état. Je vous laisse voir pour les utilisations possibles en modifiant l'interrupteur par un capteur ;-)

Maintenant, passons au code qui sera dans l'Arduino :

#include <Ethernet.h>
#include <SPI.h>

byte mac[] = {  0xzz, 0xzz, 0xzz, 0xzz, 0xzz, 0xzz }; // l'adresse MAC est indiqué sur l'Ethernet Shield
byte ip[] = { xxx, xxx, xxx, xxx }; // l'adresse ip pour le shield
byte server[] = { yyy, yyy, yyy, yyy }; // l'adresse ip de la cible (qui permettra le tweet)

// Cette variable permet de savoir si un tweet a déjà été effectuée
bool tweet = false;

Client client(server, 80);

void setup()  {
  pinMode(7, OUTPUT); // on définit le pin 7 en sortie (qui servira pour allumer la LED)
  Serial.begin(9600);
  Ethernet.begin(mac, ip); // on configure l'ethernet
  delay(1000);
} 

void loop()  {
  Serial.print("Etat pin 2 : ");
  int val = analogRead(2); // on lit l'état de l'entrée Analogique 2
  Serial.println(val);
  if(val >= 900 && !tweet) { // si la valeur du pin A2 est supérieur à 900 on considère un changement d'état et donc on lance le tweet
    analogWrite(7, 255);
    sendTweet();
    analogWrite(7, 0);
  }else{ // sinon on attends 2 sec
    delay(2000);
  }
}
// l'envoi du tweet via le code PHP se fait ici
bool sendTweet() {
  Serial.println("connecting...");
  if (client.connect()) {
    Serial.println("connected");
    client.println("GET /tweet.php HTTP/1.0");
    client.println();
    delay(2000);
    do { // on fait "tourner" le script pour récupérer tout l'appel HTTP
      char c = client.read();
      Serial.print(c);
    } while((client.available()));

    if (!client.connected()) { // on clôt la connexion une fois la requête HTTP faite
      Serial.println();
      Serial.println("disconnecting.");
      client.stop();
      tweet = true; // on bloque ici les tweets potentiels suivants
    }
  }
}

Une fois embarquée sur l'Arduino, vous pouvez effectuer vos premiers tests. En fermant l'interrupteur, l'Arduino lancera un appel réseau sur le serveur que vous aurez défini et effectuera le tweet. Et voilà le tour est joué. Pour refaire un tweet, il vous faudra faire un reset sur l'Arduino.

Bon amusement ;-)

De l'Arduino à mes retours à l'électronique

2011-05-26T16:13:00+02:00

Depuis un petit moment, j'ai laissé de côté ce blog, pour plusieurs raisons : le travail, l'animation sur le portail www.titanium-news.com, mais également car depuis quelques temps, je bidouille sur Arduino : une carte intégrant un microprocesseur en open-source, mais également un IDE également en open-source. Je vais dans les prochains temps me remettre à écrire plus ardemment, enfin je l'espère.

Le site arduino.cc fourmille de documentation, de spécifications et d'exemple à propos de l'Arduino. Pour ma part, j'ai acheté le module sur Lextronic, et j'ai reçu le colis sous 3 jours. Je recommande également de se munir d'un kit contenant différents composants électronique, des fils et une plaque de pratique (exemple de kit sur le store.arduino.cc). Cela vous permettra de ne pas être bloquer au premier tutoriel.

Une fois que vous aurez reçu tout ces éléments, vous pourrez commencer, tout comme moi, à vous amuser. Vous aurez cependant assez rapidement besoin de notions en électronique afin de ne pas faire griller vos composants (comme une de mes LEDs dernièrement). Pour ma part, la découverte de l'Arduino m'oblige à reprendre mes bases d'électronique (auxquelles je n'avais pas touché depuis près de 10ans, l'IUT c'est loin déjà ;-) ).

Quelques idées de projet sont présentes dans mon esprit et je vais essayer de les mettre en place. Pour vous faire profiter de mes expériences, j'ai créé deux nouvelles catégories dans le blog : Arduino et Electronique.

Bonne bidouille.

Push notification service chez Apple

2011-03-02T14:44:00+01:00

J'ai eu le retour de différentes personnes n'ayant pas compris totalement le mode de fonctionnement du service de push notification chez Apple. Je vais donc donner différents détails qui je l'espère permettrons de mieux comprendre le fonctionnement.

Il est important de distinguer 3 entités :

le terminal iOS utilisé ;
le service de push chez Apple (que j'appellerais APNS) ;
le service de push chez l'éditeur de l'application (que j'appellerais PushService) qui comporte une base de données.

Le fonctionnement est le suivant :

L'application est installé sur le téléphone d'un utilisateur. Ce dernier active les notifications pushs. Le terminal envoi une requête au PushService avec son UDID (Identifiant uniquement sous la forme d'une chaîne hexadécimale).
Lors de l'arrivée d'un nouveau contenu, le PushService récupère l'ensemble des UDIDs enregistrés. Il se connecte ensuite à l'APNS via un socket SSL et transmet le message. Il est possible de définir le type de notification : soit badge, soit alerte, soit un son; accompagné d'un message.
Les serveurs de pushs APNS chez Apple envoient ensuite la requête aux différents téléphones
Les utilisateurs reçoivent sur leurs terminaux les notifications.

Le délai est très souvent de quelques secondes entre l'envoi par PushService et la réception sur le terminal). PushService doit régulièrement effectuer une action complémentaire auprès du service de push Apple : récupéré la liste des UDIDs qui ne doivent plus recevoir de push notifications (ex : terminal indisponible, compte utilisateur apple fermé, etc...). Si cette action n'est pas réalisée, Apple se permettra de rendre indisponible l'envoi de push.

A noter qu'actuellement, aucun service de push n'est disponible sur Android. Mais il semblerait que les développements soient en beta dans les labs.

[Coup de gueule] Méthodes de recrutements

2011-02-28T11:57:00+01:00

on me propose le meilleur poste de ma carrière (dans une société que je ne connais pas de nom bien entendu), on discute durant une heure, vient ensuite la proposition d'entretien de visu. A ce moment-là, on me fait comprendre que l'on désire me voir vite. Problème : je dois débourser quelques centaines d'euros pour m'y rendre car ce dernier ne veut pas prendre les frais en charge. Chers recruteurs, n'oubliez pas que je suis déjà en poste et donc que j'ai autre chose à faire que de jeter par la fenêtre 400euros en transport / logement pour une heure d'entretien !
on me contacte pour rejoindre une société; avec laquelle j'ai été en contact ou je suis en relation directe ou indirecte. Très souvent, ce sont des stagiaires qui ne connaissent pas les clients de leur SSII ou qui n'ont pas accès à l'historique des recrutements. Bref, je prends cette approche comme une sorte d'incompétence de la part de la société...
lors d'un entretien, on m'a indiqué que la participation et l'intéressement était considéré comme du salaire fixe ! J'ai cru m'étouffer en entendant cela !
on me demande mes défauts / qualités, trop souvent demandés lors d'entretien. Quel est le réel intérêt de cette question ! Selon les contextes professionnels, les défauts peuvent se transformer en qualité et vice-versa, tout dépend de la personne et ce n'est pas en 2h d'entretien que l'on peut voir cela.
on me fait de la PNL : cet outil est un pure gag pour moi, surtout quand le candidat la connaît et sait comment la contourner. Il peut donc complètement modifier l'avis du recruteur.

L'ensemble des points ne sont que des exemples et ce ne sont pas les seuls... mais ils sont trop souvent présents lors des phases de recrutements. Je m'adresse donc à vous recruteurs : mesdames, messieurs, lorsque vous recrutez:

mettez les moyens qu'il faut pour faire réellement venir le candidat au sein de votre société (même si vous devez pour cela payer leurs déplacements) ;
ne mettez pas des stagiaires (seul à seul) dans les phases de recrutements, notamment lors des entretiens face à des candidats expérimentés, personnellement je prends cela pour un manque marquant de sérieux ;
arrêtez de nous faire croire mont et merveille... nous ne sommes pas des juniors, on ne croit plus à vos promesses, on désire des faits réels et écrits sur le papier.

Je relative cependant mon discours en indiquant que certains recruteurs sont de réels pros qui savent comment réaliser les entretiens et ne suivent pas bêtement le manuel du recruteurs pour les nuls.

Et vous, avez déjà eu ce type d'expérience, n'hésitez pas à en faire part ici.

Python - MySQL (via MAMP sous Mac OS X)

2011-02-09T21:12:00+01:00

Je suis actuellement à la découverte de Python. A cet effet, je regardais la méthode pour me connecter à une base de données MySQL. J'ai passé pas mal de temps à configurer mon environnement, j'en profite donc pour vous faire profiter de mes remarques pour l'installation et la configuration du module permettant l'intéraction BDD \<-> langage. Je travaille sous Mac OS X (Snow Leopard) avec MAMP et voici les différentes étapes permettant de se connecter à une base de donnée MySQL depuis Python.

Etape 1 : installé MySQL depuis les sources

Décompresser le fichier depuis le dossier où se trouve le fichier :

tar xzvf mysql-5.1.55.tar.gz

cd mysql-5.1.37

./configure --prefix=/usr/local/mysql --with-extra-charsets=complex --enable-thread-safe-client --enable-local-infile --enable-shared --with-plugins=innobase

make (cette étape prends quelques minutes, on est tout de même en train de compiler MySQL)

sudo make install

On s'arrête maintenant là pour la partie Server de MySQL.

Etape 2 : installé le module Python MySQLdb

On commence tout d'abord par définir dans l'environnement où se trouve les commandes MySQL via cette command

export PATH=\$PATH:/usr/local/mysql/bin/

Vérifier ensuite que vous avez installé setuptools, le cas échéant, vous pouvez télécharger sur le site.

Il faut ensuite télécharger et décompresser le fichier suivant : MySQLdb

Effectuer ensuite les commandes suivantes :

sudo python setup.py clean

sudo python setup.py build

sudo python setup.py install

Testez ensuite le module est bien installé. Pour cela, faites les commandes suivantes:

cd (il est conseillé d'être dans un autre dossier que celui où se trouve le module MySQLdb)

python

>>> import MySQLdb

Si aucune erreur ne s'affiche, c'est que le module est bien disponible.

Etape 3 : connexion depuis un script Python

Tout est prêt maintenant, je vais tenter de me connecter via le script de base (via la documentation)

conn = MySQLdb.connect(host = "localhost", user = "root",passwd = "root",db = "mysql")

cursor = conn.cursor()

cursor.execute ("DESCRIBE user")

rows = cursor.fetchall()

for row in rows:

print row

cursor.close ()

conn.close ()

Cependant une exception se lève

En effet, vous n'utilisez pas le mysql compilé précédemment mais celui de MAMP, il faut donc rajouter un paramètre supplémentaire :

Relancez votre script et le tour est joué, vous êtes connecté à votre base de donnée MySQL MAMP.

Source :

Installing MySQL on Snow Leopard

Writing MySQL Scripts with Python DB-API

Documentation officielle

[Blog] Développer sur mobile via AppCelerator Titanium

2011-02-07T10:03:00+01:00

Je participe depuis quelques jours à un autre blog en français, avec @yannickgrammont et @las92i, parlant de Titanium : titanium-news.com. Nous y aborderons l'ensemble de l'actualité, les mises à jour du SDK Titanium. Quelques tutoriels y verront également le jour. Un compte Twitter est également présent @titanium_news.

Titanium est un outil permettant le développement d'applications sur mobile et/ou sur desktop. Développé par AppCelerator, il est en constante amélioration et prends en compte différents SDK natifs mobiles : iOS et Android. Blackberry est actuellement en cours de portage et devrait arriver prochainement.

La fin de l'IP v4 proche ?

2011-01-24T11:38:00+01:00

Cela fait plusieurs années que l'on en parle, c'est dorénavant de l'actualité chaude. Depuis quelques années déjà, certaines entreprises ou institutions mettent en garde la communauté afin de migrer rapidement sur IPv6. Dans 8 jours, il n'y aura plus d'adresse IP v4.

Quelques rappels sur l'IP v6. Son développement a démarré en 1993. L'adressage permet d'avoir un nombre beaucoup important d'adresses : sur 128 bits, soit 2^128 adresses au lieu de 32 bits (2^32) pour IP v4. La sécurité est également accrue grâce à l'intégration native d'IPSec. Il est également à noter que tous les systèmes d'exploitation récents supportent cette nouvelle version d'IP v6.

Les impacts de cette migration sont techniques et donc financiers. En effet, il ne suffit de pas de cliquer sur un bouton, il faut parfois mettre à jour le code, mais il peut être également obligatoire de changer les équipements physiques qui ne seraient plus compatibles avec cette nouvelle version. La migration peut également impacter les services en production et ainsi les rendre indisponible un certain temps. Bref, c'est une grosse migration à réaliser avec un protocole strict et bien défini; tout ceci avec l'objectif de réaliser la migration en un clic de souris ;-)

Quelques articles à propos de la migration vers IPv6 :

Je rajoute ce widget, proposer par iNetCore, pour voir le temps restant

La veille a-t-elle un intérêt ?

2011-01-21T10:48:00+01:00

Cette question fait suite à la question posée lors d'un cours par un étudiant de Master 2.

Pour commencer une définition de la veille s'impose : à l'heure où le développement des entreprises s'avère étroitement lié à leur capacité d'adaptation et d'anticipation, disposer des bonnes informations devient une nécessité, pour prendre des décisions argumentées et mener les actions adéquates (source). La lecture de cette définition reflète tout l'intérêt de réaliser de la veille : anticiper et s'adapter à l'évolution dans le monde des entreprises.

sur la technologique : évolution des langages de développement et de leurs écosystèmes, nouveaux outils et méthodes. Pour cela, le veilleur passe par les sites référents dans son domaine, les blogs et sites d'actualités spécialisées, mais également en réalisant des tests et/ou des benchmarks par lui-même.
sur l'économie : c'est en effet une suite logique de la veille technologie, je dirais même que les deux sont totalement complémentaires et indispensables l'une pour l'autre. A ce niveau, le veilleur s'empare de la presse et des médias plus traditionnel, cela lui permet de connaître le contexte dans lequel il évolue.

Une veille régulière permet l'innovation et la possibilité pour une entreprise de rester fortement concurrentielle. Trop souvent, les entreprises et formations restent trop le nez dans le guidon et oublient de permettre la réalisation de cette tâche. Il est primordial de réaliser de la veille, à la fois pour l'entreprise mais également pour soi-même.

En conclusion, j'adresse deux messages :

aux responsables et managers: "Permettez à vos équipes de réaliser de la veille, les bénéfices seront alors conséquents".
aux opérationnels : "N'oubliez jamais de rester à niveau sur l'actualité, il en va de votre évolution future..."

Interview - Retour sur WP7 vs iOS

2011-01-20T13:00:00+01:00

Pourrais-tu te présenter en quelques mots ?

Dominique Siacci : je m'appelle Dominique Siacci, 21 ans, j'ai créé DuoApps avec mon associé au début de l'année 2009 à la fin de mes études. Nous développons des applications mobiles sur iPhone, iPad, Android et Windows Phone. La structure a un peu évolué entre temps (nous sommes désormais 4 dans l'équipe), et j'assure aujourd'hui seul la gestion de l'entreprise.

Mon profil est plutôt un profil technique (je suis développeur web à l'origine) et j'ai beaucoup développé sur iOS, notamment au démarrage de notre entreprise.

Plus loin dans cette interview, j'ai sollicité Christelle Thiry, qui est en charge des développements Android et Windows Phone 7 chez DuoApps afin qu'elle puisse apporter un point de vue plus technique que le mien.

Tu travailles depuis 2 ans maintenant sur iOS, qu’est ce qui t’a séduit dans ce langage ?

DS : Incontestablement, iOS, l'Objective-C, le framework Cocoa Touch, et par extension la procédure de validation des applications par Apple, imposent une certaine rigueur qui me semble saine. Au départ, j'avoue avoir été complètement désorienté, notamment à cause des problématiques à résoudre qui sont complètement différentes du développement web. La syntaxe d'Objective-C, qui est un langage très verbeux, est aussi déstabilisante, mais au final, il s'avère beaucoup plus logique à utiliser que n'importe quel autre langage.

Ce qui est plus plus attirant dans cette technologie est sans conteste iOS lui même, et plus généralement les terminaux (iPhone, iPad, etc.) qui ouvrent des possibilités extraordinaires dans la conception d'applications.

Windows Phone 7 est sorti depuis peu. Tu as réalisé une première application. Que penses-tu de ce nouvel environnement ?

DS : Très honnêtement, Windows Phone 7 me semble être le premier OS à pouvoir réellement prétendre faire concurrence à iOS. C'est pour cela que nous avons fait le choix de former quelqu'un à cette technologie. C'était une sorte de pari, car à l'époque où nous avons débuté le développement (c'est à dire cet été), nous n'avions pas eu l'occasion de tester un device en réel. Cela dit, nos impressions se sont confirmées très vite, lorsque nous avons pu disposer d'un téléphone prêté par Microsoft.

Sur le modèle de distribution, WP7 est davantage comparable à Android qu'à iOS, avec une offre de devices élargie. Microsoft a d'ailleurs fait un très bon choix en imposant des spécifications très strictes aux constructeurs, ce qui permettra peut-être d'éviter l'hétérogénéité calamiteuse d'Android. Sur tous ces points (qualité des devices, qualité de l'ergonomie du système, qualité des outils de développement), Windows Phone surpasse largement Android.

Nous avons commencé par développer l'application de l'hebdomadaire Marianne, ce qui lui a permis d'être parmi les deux premiers titres de presse français (avec Le Figaro) présents lors du lancement de la plate-forme. L'équipe web de Marianne est très dynamique, et il est très appréciable de travailler avec des gens conscients des enjeux du mobile.

Plus précisément que est ton avis les outils de développements et du langage ?

DS : J'avoue ne pas avoir développé moi-même l'application de Marianne, il s'agit de notre développeuse Android, qui a consacré un peu plus de deux mois à se former sur cette nouvelle plate-forme. Cependant, j'ai suivi d'assez près le développement, et je dois dire que les outils me semblent très bien conçus. Microsoft a clairement fait de gros efforts. De plus, Silverlight est un framework qui a fait ses preuves, et qui présente une communauté assez importante - ce qui n'était de fait pas le cas d'iOS à sa sortie.

Christelle Thiry : Les outils ainsi que le langage sont très stables. Cet environnement de développement était déjà très utilisé avant la sortie de WP7.

Le framework Siverlight est vraiment bien pensé, ce qui, je trouve, permet une programmation très intuitive.

Est-ce comparable à iOS ?

DS : On sent clairement qu'il reste du chemin à parcourir à Microsoft avant d'atteindre le niveau d'iOS. Cependant, il y a tout de même près de quatre ans et quatre versions d'écart entre les deux systèmes. Mais je pense sincèrement que la comparaison n'a pas à se faire avec iOS, plutôt avec Android. iOS et WP7 ont vocation à perdurer tous les deux, dans une complémentarité assez bonne. Ce sont deux approches ergonomiques réellement différentes, deux approches de commercialisation différentes...

Personnellement je fais confiance à Microsoft pour faire évoluer son système dans le bon sens, en ne commettant pas les mêmes erreurs que Google. A mes yeux, Android est un casse-tête pour les développeurs. Il y a aujourd'hui 4 versions de l'OS qui cohabitent, ce qui nous empêche clairement de pouvoir franchir un pas fonctionnel. On est de fait obligés d'assurer la rétro-compatibilité de nos applications ce qui est assez contrariant...

CB : A mon sens, les outils de développement WP7 peuvent facilement être comparés à ceux d'iOS dans la mesure où ils facilitent vraiment le développement, ce qui n'est pas le cas du SDK Android. En revanche, au niveau du fonctionnement de l'OS, WP7 est beaucoup plus semblable à Android. Je parle surtout du cycle de vie d'une application. Bien sûr, au niveau de l'OS, il manque encore quelques fonctionnalités clefs pour rattraper iOS et Android (comme le multi-tâches).

Pour moi il n'y a pas de comparaison possible au niveau du développement en lui-même entre WP7 et Android. La programmation Android est très contraignante, et je ne parle même pas de la partie test et débugage de l'application avant la publication. En effet, il est impossible de tester une application sur tous les types de devices existants, que ce soit au niveau physique ou au niveau logiciel. En revanche, la publication immédiate sur l'Android Market (sans passer par un processus de certification) est vraiment très pratique du point de vue du développeur… Sur ce point, Microsoft a opté pour le même modèle qu'Apple.

(NDLR : Christelle n'a jamais développé sous iOS, mais elle a une bonne année d'expérience sur Android)

Qu’en est-il de l’intégration graphique ? Est-ce comparable à l’Interface Builder pour iOS ou à l’intégration plus laborieuse sous Android ?

CT : N'ayant jamais développé pour iOS, je ne pourrais dire si l'intégration graphique est comparable à Interface Builder. En revanche, je peux dire qu'elle est beaucoup plus aisée que sur Android, grâce notamment à l'outil Expression Blend.

De plus les éléments graphiques du framework WP7 sont plus aboutis, Google n'ayant pas du tout joué sur l'esthétique pour son système. Le problème, ou l'avantage, avec Android c'est que même au niveau de l'intégration graphique c'est totalement libre, ce qui donne une multitude de styles graphiques pour les applications, donc beaucoup d'hétérogénéité.

Et encore une fois le gros point noir de l'intégration graphique pour Android c'est le parc très large de modèles de devices (taille et résolution d'écran, clavier physique ou pas…). Microsoft étant beaucoup plus restrictif sur ce plan l'intégration graphique est plus simple et beaucoup plus gratifiante pour le développeur.

Merci à tous les deux.

Retour sur les conférences du ForumPHP (jour 2)

2010-11-15T13:24:00+01:00

Déboguer son code - Xdebug

Xdebug est un outil développé et maintenu par Derick Rethans (http://derickrethans.nl). Il possède deux fonctionnalités : debug et profiling.

Derick nous présente une grande partie des éléments de configuration afin de réaliser les traces de debug les plus explicites possibles : ajout direct vers les fichiers présentant des problèmes, gestion de l'affichage des var_dump (profondeur d'affichage), etc...

Ensuite il nous présente la possibilité de faire du profiling et d'interpréter les données récupérées. Pour cela, un petit tour dans la configuration et ensuite des applications tierces sont mises à contribution : KCacheGrind ou WebGrind. Des plugins sont (seront) disponibles pour les différents IDE afin de travailler "en live" avec le serveur.

Un site web performant, tout est dans le réseau et le navigateur

Eric Daspet nous présente quelques méthodes afin d'augmenter les performances. Avant cela, des chiffres nous font prendre connaissances des effets bénéfiques de la performance d'un site web. Qui dit performance, dit augmentation potentielle du revenu et du business liée au site en question.

Nous rentrons ensuite dans des aspects plus techniques :

sur un appel de page : 5% du traitement est réalisé en back-end et 95% en front-end
4 à 6 requêtes en parallèle par domaine sont possibles avec les derniers navigateurs, il est donc important de gérer au mieux /images, CSS, JS
mise en place de la compression Gzip, utilisation des Etags et autres entête de cache HTTP
utilisation de sprites pour les /images
regroupements des multiples fichiers CSS en un 1 seul (même chose pour les JS)
appel des JS externes avant le \</body> afin d'augmenter l'affichage de la page
utilisation du KeepAlive au niveau de la configuration Apache afin de réduire les temps de connexions TCP (à utiliser avec attention car elle augmente la charge CPU des serveurs).
amélioration de la gestion des DNS

Tout ceci afin de réduire les temps de latence et ainsi augmenter la performance du site.

Attaque sur les webservices

L'intervenant Renaud Bidou présente dans un premier temps la structure fonctionnelle des webservices puis les différentes technologies différentes. Je pensais connaître assez bien cet aspect, cela m'a permis d'en apprendre plus.

Des attaques par Xpath, DOS, XSLT, avec le pipe sont présentés et sont, pour moi, assez flippantes de par leurs simplicités de mise en place.

On retiendra : "plus le code est complexe à relire, plus il sera complexe à maintenir et moins la sécurité sera importante !"

Une conférence intéressante car elle aborde un sujet de plus en plus sensible et présent pour les sociétés; Je regrette tout de même que le terme webservice ait été associé à SOAP lors de la conf et que le REST n'ait été que survolé.

Un excellent ForumPHP qui m'a permis de revoir certaines personnes, d'en découvrir de nouvelles. J'attends la fin d'année prochaine pour l'édition 2011, qui ne fêtera elle aucun anniversaire...

Retour sur les conférences du ForumPHP (jour 1)

2010-11-10T22:43:00+01:00

Développer une application mobile avec Flex et PHP

C'est Michael Chaize (@mchaize) qui est aux commandes. Il présente dans un premier temps l'historique de Flash puis Flex. On se rappellera par exemple que Flash adopte le riche media à partir de 2006 mais également qu'à l'heure actuelle : 75% des lecteurs de vidéos tournent avec Flash.

Flash 10.1 est ensuite abordé, une véritable révolution. En effet, cette dernière mouture prend en charge tous les types d'équipements. Auparavant, Flash était uniquement disponible sur Mac, PC et Linux. Dorénavant, il est également disponible sur mobile, tablette et GoogleTV.

Pour les applications disponibles sur iOS (iPad et iPhone), c'est l'iOS packager permet de compiler l'application.

Michael aborde ensuite AMF et propose l'exemple suivant : 5000 lignes. Ces 5000 lignes disponibles au format XML pèseront 1,1Mo. Avec AMF, le poids est réduit à 21ko. C'est un atout non négligeable dans le cas d'application mobile. Bien sûr, nous sommes au ForumPHP, il nous présente donc le SDK AMF pour PHP (très simple à mettre en place).

En conclusion, on retiendra que Flex permet de gérer l'ensemble de l'animation Front-End et PHP s'occupera de toute la logique métier d'une application.

Terrible audit de sécurité

Damien Seguy nous parle d'un "Terrible Audit de Sécurité". Terrible dans le sens où très souvent, l'audit fait peur aux entreprises, notamment un audit de sécurité. L'objectif est de vulgariser la manière dont se réalise l'audit, afin de permettre de le renseigner soi-même son protocole d'audit de sécurité.

Il nous explique les différentes phrases d'un audit et commence par la mise en place d'un référentiel de sécurité qui exposera les différents axes et en les détaillant. Pour cela, il est possible de s'appuyer sur différentes références : OSWASP, ISO, etc.. En résumé, il faut rédiger un référentiel, le convertir en code à éviter ou recommander et le vérifier soi-même.

Comme à chaque fois, la conférence de Damien est très pédagogique, un réel plaisir. Je me dit que l'audit de sécurité pourrait être le sujet d'un Barcamp...

Optimisation des performances LAMP

Cyril Pierre de Geyer et Guillaume Plessis nous présentent cette conférence orientée sur les aspects systèmes et permettant d'améliorer la disponibilité d'une infrastructure LAMP. On passe d'abord en revue les outils permettant de réaliser du monitoring de plateforme : de Nagios à Zend Platform en passant par Cacti ou Pimba. Les conférenciers nous présentent également comment réaliser des tirs de charge. Pour cela, les outils ApacheBench ou encore Jmeter nous sont présentés.

En résumé, cela nous donne un aperçu global des outils et informations qui permettent d'optimiser sa plateforme.

Slides

Voir la présentation : développer une application mobile avec Flex et PHP

Voir la présentation : optimisation des plateformes LAMP

Suite de la discussion sur ma question du jour

2010-11-05T11:46:00+01:00

Aujourd'hui, je me suis posé une question et je l'ai partagé sur Twitter, en voici le contenu :

Dans une archi complexe, les différentes fonctions ne devraient-elles pas etre sur une logique de webservice ? Ceci afin d'assurer maintenance, évolutivité, flexibilité et migration mieux adapté. Des avis ?

@ludobos a repris cette question autrement et je trouve la question tout à fait adaptée :

dans un monde cross-plateform, le dev site html multi-browser a-t-il un sens ? quid des applis ?

Qu'en pensez vous ? Quel est votre avis sur le sujet ?

Sigle et débit 3G sont différents, pourquoi ?

2010-11-04T22:27:00+01:00

J'entends souvent "j'ai le sigle 3G mais le contenu de ton application ne remonte, le bug vient de ton application". Etant donné qu'une réponse en 1 phrase n'existe pas vraiment, je vais le faire en plusieurs lignes par ce billet et plutôt qu'un long discours, rien ne vaut un bon schéma pour expliquer les différents éléments en place.

Le principe est le suivant : un utilisateur lance une application récupérant des informations depuis un serveur web. Cette demande est transmise :

1) par les ondes radios depuis le téléphone jusqu'à l'antenne relais (ou Base Transceiver Station ou BTS), selon différentes technologies 3G+ (débit de 4Mbits/s en pratique) , 3G (2MBits/s), EDGE (473 kbit/s).

2) cette antenne est connectée au réseau interne de l'opérateur. Le débit entre la BTS et le réseau de l'opérateur n'est pas le même d'une antenne à l'autre. Il peut aller de quelques Mbits/s à plusieurs dizaines (voire centaines) de MBits/s suivant la zone géographique où l'antenne se trouve.

3) la demande émise sort alors du réseau de l'opérateur pour entrer dans le réseau internet.

On voit qu'aux deux premiers niveaux, le débit diffère très facilement. Prenons différents exemple afin de mieux comprendre.

Exemple 1: L'antenne sur laquelle mon téléphone est connecté, possède un débit avec le réseau opérateur d'environ 100MBits/s. Nous sommes 25 à naviguer sur l'internet mobile. En théorie, nous aurons environ 100Mbits/s divisés par 25 utilisateurs = 4 Mbits/s pour chaque utilisateur. Si la BTS permet l'accès à la technologie 3G+, je pourrais donc avoir le max du débit, cela permet donc une navigation très fluide.

Exemple 2 : Même contexte que l'exemple 1, mis à part qu'au lieu d'être 25, je suis 1000 connecté sur la même antenne. Le calcul donne 100 / 1000 = 0,1 Mbits/s soit 100kbits/s. On voit donc que plus il y a de personnes connectés sur la même antenne, plus le débit chute. Même si mon téléphone indique 3G, je serais limité à un débit de 100kbits/s théorique.

En résumé, il faut retenir que lorsque le sigle 3G est indiqué, le débit disponible ne sera pas automatiquement le débit maximum de la 3G.

NB : attention, ceci est bien entendu la théorie, en pratique, il faut également prendre le fait que l'onde radio (entre le téléphone et l'antenne) peut être altérée et réduite par les obstacles. De plus, il est important de savoir que le réseau est divisé en deux : le trafic voix (les appels téléphoniques) et le trafic data (internet mobile). Sur ces deux sources de trafic, la voix restera prioritaire.

Brevets et lobbying : la guerre du mobile en cours

2010-10-07T11:18:00+02:00

On remarque actuellement que la guerre fait fortement rage dans le monde mobile, les grands acteurs des nouvelles technologies étant sur le qui-vive. Un petit récapitulatif des faits sur les 10 derniers jours :

\- [Google tape du pied une fois de plus à Nokia](http://www.mobile-ocean.com/google-veut-convaincre-nokia-d-utiliser-android--id=4836.html), Google souhaite en effet voir des terminaux mobiles by Nokia

\- [Google vs Oracle](http://www.mobile-ocean.com/android-google-accuse-oracle-de-mauvaise-foi--id=4876.html%20), Oracle est agressif au sujet d'Android qui se base sur Java

\- [Apple vs Nokia](http://pro.clubic.com/it-business/actualite-369046-apple-attaque-nokia-brevets-royaume-uni.html%20)

\- [Microsoft vs Motorola/Google](http://www.itespresso.fr/violation-brevets-microsoft-defie-motorola-google-android-36904.html%20)

J'imagine déjà ce qui pourrait se passer sur le marché TV... cela promet

Les grandes phases d'un projet mobile

2010-10-07T10:24:00+02:00

Cet article a pour but d'avoir une vision globale des différentes grandes étapes d'un projet mobile. Ces phases sont analogues à un projet classique informatique.

Expression de besoin

Cette partie permet d’aider les équipes MOA à mieux définir le périmètre de leur projet mobile.

Le Consultant sera d’assister les équipes mais également à les orienter au mieux à la fois sur les problématiques produits et fonctionnelles mais il anticipe également les problématiques techniques.

Le Consultant aidera également à répondre aux problématiques de contributions multi-écrans : web, mobile, …

Spécifications fonctionnelles

Spécifications

Ce document définit l’ensemble des fonctionnalités de l’application. Etant dans le monde applicatif, il est important de prendre en compte les actions non visibles. Exemple : que se passe-t-il lorsqu’un utilisateur se connecte.

Il est important de prendre également en compte l’ergonomie de l’application, tout en respectant les Guidelines des SDK. C’est un autre des rôles important du consultant.

Création graphique

La création graphique permettra de finaliser la définition d’un projet. En effet, il est possible lors de la phase de conception graphique de répondre à des problématiques ergonomiques.

Spécifications techniques

Les deux phases suivantes peuvent être parallélisées. On définit :

L’architecture de l’application : cette partie est fortement en relation avec les spécifications fonctionnelles et prends également en compte les Guidelines des différents SDK.
L’architecture, le format des webservices (politique de cache, type de webservices, etc…). Ces derniers impacteront les équipes SI.

Maitrise d’œuvre

Développements

Tout comme les spécifications techniques, les développements peuvent être effectués en parallèle. On distingue :

les développements de l’application en elle-même (voire ses différentes versions suivants les SDKs)
les développements des webservices qui impactent les Systèmes d’Informations.

Recette

C’est la phase la plus importante d’un projet. Suivant le temps de développements, on pourra définir une livraison hebdomadaire de l’application. Ceci permettra à la fois au Delivery Manager d’assurer le suivi et également aux équipes produits (à partir de la 2^ème moitié du temps) de voir les évolutions des développements.

Soumission

Pour les applications, deux options se présentent :

soumissions avec validation à priori pour Apple (les temps approximatifs de validation pourront être transmis au démarrage des développements)
soumissions avec validation à posteriori pour Google : l’application est directement disponible sur le Market Place

Pour les web-applications, le principe est le même que les sites internets.

Interaction entre projet web et projet mobile

2010-09-16T20:57:00+02:00

Je poursuis l'exploration du monde du projet mobile. Aujourd'hui, j'aborde les interactions entre les projets mobiles et les projets webs.

Je séparerais les projets mobiles en 3 types :

1) standalone (que je n'aborde pas, ce n'est pas le sujet);

2) apporte un complément au projet web (ou vice-versa);

3) "copie" le web.

Si le système d'information (SI) est déjà présent, il est important d'analyser l'adaptation et le rendu des informations disponibles sur mobile. Je recommande d'ailleurs fortement d'effectuer cette analyse dans le cadre d'une pré-étude d'un projet. Ceci permettra alors d'anticiper les problèmes et évolutions techniques tout en impactant le moins possible l'ensemble des acteurs qui auront à intervenir sur le SI.

Lors de la création d'un système d'information, il est nécessaire d'analyser et de rendre disponible un mode de contribution à la fois user-friendly mais également répondant aux attentes en terme de rendu sur le web et sur le mobile. La prise en compte de ce paramètre est l'un des facteurs de réussite d'un projet web/mobile.

L'animation est un autre sujet sur lequel, il est important de poser la question suivante : mon produit mobile va être animé de la même manière que mon produit web.

L'animation identique entre le web implique une mise à disposition des informations contenus dans le SI sur les deux cibles : web et mobile. Par exemple, un visuel pourrait être disponible dans un format "pivot" permettant ainsi un traitement adéquat.

Lors d'une animation différente, il est important de faciliter le travail des animateurs du service. Dans les deux cas, associer les contributeurs du service (un des deux grands utilisateurs du SI) lors de la création et la mise en place des interfaces d'animation, est un autre facteur de la réussite d'un projet.

Enfin, la technique est l'élément central. Un projet informatique n'est pas réalisable sans technique, c'est à la technique que les fondations sont définis et réalisés, tout comme un maçon construit une maison ! Certains risquent de bondir en lisant cela, mais c'est mon point de vue. Bref, il est très important que le noyau technique soit à la fois solide, robuste et agile. Plusieurs techniques d'architecture, de développements et de mise en place sont disponibles et réalisables.

Il ne faut pas non plus oublier que réaliser un projet mobile ouvre une porte extérieure supplémentaire et qu'il ne faut pas prendre à la légère la mise en place, par exemple de service web.

Un projet mobile est comme un projet web; il rajoute "juste" des contraintes supplémentaires, tout particulièrement lorsque ces derniers sont liés. Il est très important de prendre en compte l'avis de tout le monde en amont d'un projet, afin de répondre au mieux à leur attente.

Débats sur le mobile - application vs web-application

2010-07-13T19:39:00+02:00

Je suis tout récemment tombé sur le site techtoc.tv, ce site regroupe un ensemble de webcasts autour de sujet liés aux nouvelles technologies. Pourquoi ces deux informations, tout simplement parce que je souhaitais 3 de ces webcasts qui sont en liaison avec un de mes précédents billets, où je présentais les différences entre application et webapplication.

Les apps' vont-elles remplacées les navigateurs webs ?

Application mobile vs version web mobile

Mon business a-t-il besoin d'une application mobile ?

Si je devais résumer la situation actuelle, une société se doit d'être actuellement présente sur les AppStores (AppStore d'Apple, AndroidMarket de Google, ...). Mais une société doit également ne pas oublier le web mobile, car il permet une meilleure inter-opérabilité mais également une plus grande liberté d'évolution. Enfin, les webapplications sont pour certains considérés comme l'avenir, alors que les applications sont amenés à une décroissance à partir de 2015 voire 2013 selon certains.

Différences entre projet de web-app mobile et projet d'application mobile

2010-07-06T21:48:00+02:00

On me demande souvent quelle est la différence entre application et web-application. Je vais par ce billet définir chacun et indiquer leurs avantages et inconvénients.

Applications

Une application mobile est un programme informatique utilisant un SDK (Software Development Kit) basé sur un OS (Operating System) tel qu'iOS ou Android. Le SDK se définit par :

un langage de programmation (Java pour Android, Objective-C pour Apple, Silverlight pour WindowPhone 7 WP7) qui permet de développer l'application
un ensemble d'APIs (Application Programming Interface) permettant d'utiliser ou d'accéder à des éléments matériels du terminal. L'API sur laquelle il est important de s'arrêter est l'openGL qui permet de faire de la 3D et donc des jeux évolués. A noter que WP7 sera quant à lui basé sur un autre type API.

Les applications permettent d'avoir une interactivité plus poussée et elles permettent également d'avoir à disposition très facilement toutes les informations à un instant T. La logique est totalement différente par rapport à un site web et il est absolument nécessaire de prendre en compte ce point lors de la phase de spécifications du projet.

Cependant deux problèmes se posent : le temps de développement (2 mois pour une application de type standard) et le versionning. En effet, si un bug apparaît sur une application, il est nécessaire de repasser par une phase de développement, recette et soumission de l'application; on parle de changement de version. Ce paramètre est très important et explique la nécessité de faire une phase de recette poussée et complète.

Un dernier point important à noter également est que l'application, contrairement à la web-application, est disponible sur la place de marché de l'OS (AppStore d'Apple, AndroidMarket de Google, ...). Ceci permettant donc une potentielle visibilité, je dis potentielle car l'application sera noyé dans des dizaines voire centaines de milliers d'autres. Ce paramètre est donc à prendre en compte dans la phase de communication.

Web-application

On entend par web-application un site mobile évolué qui utilise les performances des navigateurs embarqué dans le mobile (Safari mobile, Chrome sur Android, etc..). Ces derniers disposent des éléments suivants :

différentes fonctionnalités du xHTML et également du HTML5
le support du Javascript (différents frameworks sont disponibles JQueryTouch par exemple)
un ou plusieurs librairie Javascript et associé au navigateur permettant d'accéder par exemple au GPS.

Deux avantages principaux (les inverses de l'application) : le temps de développement (on est sur des technologies webs) est court, la gestion des mises à jour sont réalisées en totale transparence pour l'utilisateur puisque l'on est sur une technologie client-serveur. On peut également ajouter que ce type de développement permet de servir n'importe quel terminal de type smartphone : une web-application sous Android sera également disponible sur iPhone.

Etant sur des technologies webs, il est important de mettre en place les bonnes pratiques suivantes :

les règles de SEO/référencement, même si actuellement, Google ne rends pas prédominant le mobile, il est important d'être présent.
la possibilité de rediriger l'utilisateur depuis le site web standard vers le site mobile et vice-version. Je conseillerais également de permettre cette redirection page à page.

En conclusion, je conseillerais la méthode suivante : faire une application mobile (sur iPhone et Android) pour avoir la visibilité des places de marchés, mais ne surtout pas oublié les web-applications. Même si cette dernière sera le plus souvent beaucoup moins ambitieuse que l'application.

Ouverture de la catégorie gestion de projet

2010-06-16T21:36:00+02:00

J'ouvre dans mon blog une nouvelle catégorie qui intégrera des billets parlant de près ou de loin de la gestion de projet mobile et web. Plusieurs billets sont d'ailleurs dans les cartons et devrait arriver très prochainement. Le but de cette partie sera principalement d'exposer des problématiques apportées par les projets mobiles afin de mieux les appréhender.

Test du tethering sur Android Froyo

2010-06-16T10:48:00+02:00

Suite au Google I/O, je me suis posé la question d'installer ou non Froyo (la v2.2 d'Android) sur mon Nexus One. Finalement, j'ai craqué et je me suis lancé dans l'installation de cette nouvelle version considéré comme bêta. Je désirais à la fois essayer Flash 10.1 mais aussi le tethering. Je parlerais dans ce billet du tethering, le Flash sera peut être le sujet d'un autre billet plus tard. Le tethering sur Froyo offre la possibilité de partager la connexion internet mobile du téléphone en WiFi ou par USB. Ayant un Mac, je n'ai malheureusement pas pu tester la version USB (uniquement compatible Windows Vista, Seven et Linux).

Première étape : la configuration du Nexus One

Ca se passe dans les Paramètres -> Sans Fil et réseaux -> Partage de connexion et point d'accès mobile. Quatre informations sont disponibles :

- via USB (pour avoir cette zone activée, il faut avoir le téléphone relié à l'ordinateur par USB)

- Point d'accès Wi-Fi mobile, en activant cette zone, le téléphone se transforme alors en hotspot Wifi

- Paramètre du point d'accès, dans cette zone, il est possible de mettre à jour le SSID du réseau, la sécurité (réseau ouvert ou sécurisé par clé WPA2)

- Aide

Deuxième étape, connexion WiFi et tests

C'est exactement pareil qu'un autre hotspot Wifi.

J'ai testé la connexion en TGV entre Paris et Lyon. C'est vraiment impressionnant de savoir que le téléphone permet de se connecter à Internet sans passer par une clé 3G. Cependant, j'ai remarqué plusieurs points :

- dès que le TGV passe une certaine vitesse, on a plus de connexion, mais cela est normale, on a le même souci lorsque l'on se connecte à internet depuis le téléphone directement,

- j'ai réussi à utiliser l'application Mail et Tweetdeck, je n'ai pas réussi à utiliser les navigateurs (je dois encore creusé le point),

- ça grille la batterie du téléphone à une vitesse impressionnante (25% en moins de 10min).

Conclusion

Je donnerais, pour conclusion, les avis suivants :

- cet outil peut vraiment dépanner et permettre de répondre à ses mails ou voir rapidement des informations sur Internet de manière plus pratique que sur son téléphone,

- Google a tapé fort en sortant cette fonctionnalité attendu de pas mal de personne, cependant on parle déjà de bridage chez les opérateurs mobiles,

- cet outils est naissant mais mérite vraiment de s'attarder dessus, tout particulièrement pour les personnes en déplacement régulier, cela leur éviterait 1 téléphone, 1 ordinateur portable et 1 clé 3G; pour revenir à 2 appareils,

- j'attends avec impatience l'arrivée du LTE en France, qui permettra de naviguer beaucoup plus rapidement sur le net depuis un mobile.

Test de Skype sur iPhone

2010-05-31T21:30:00+02:00

L'annonce a été faite hier : Skype 2.0 permet de téléphoner en 3G hier, un de mes collègues et moi-même avons testé cette version : d'un côté un iPhone avec la connexion 3G, de l'autre un MacBook avec Skype installé. La résultante est que nous n'avons pas réussi à effectuer un appel correct. Les différents tests effectués ont été infructueux : on attendait la voix de l'autre très coupée, avec un gros temps de latence et l'impossible de réaliser un vrai appel...

Heureusement les appels sont gratuits pour le moment et jusque fin août. Connaissant la politique d'Apple en terme de validation, on peut se demander deux choses :

Apple étant très pointilleux sur les phases de test des applications, ne serait-ce pas les opérateurs qui bloquent les data voix sur la 3G provenant de l'application Skype
Apple et Skype ont fait une sorte de partenariat pour tout de même valider l'application, cette hypothèse me paraît la moins plausible

Et vous qu'en pensez-vous ?

Que retenir d'Android 2.2 aka Froyo

2010-05-21T20:49:00+02:00

L'événement pour les développeurs Google I/O s'est terminé hier. Je ne reviendrait pas sur la première keynote qui est plus accès sur la partie web, mais plutôt sur la seconde. Les vidéos sont d'ailleurs disponibles sur Youtube. Suite à mon post d'il y a deux semaines, les deux points principaux se sont confirmés:

Flash 10.1 est bien intégré
Côté jeu, de grosse évolution : intégration des APIs OpenGL ES 2.0

Mais je m'arrête également sur d'autres évolutions intéressantes :

possibilité d'enregistrer les applications sur la carte mémoire (plutôt intéressant pour les grosses applications). D'ailleurs la démonstration a montré que l'application ne subit aucune perte.
l'interpréteur Javascript a été booster : des résultats 2 à 3 fois plus rapide par rapport à la version Eclair (2.0/2.1)
un market place digne de ce nom. Il était auparavant possible de synchroniser ses applications avec son compte Google. Il sera possible de rechercher des applications sur la version web du market, d'indiquer que l'on désire l'installer, cette installation sera alors automatiquement lancé sur le smartphone.
possibilité d'effectuer ou non l'auto-update des applications
le feedback des plantages d'applications pourra être envoyé (comme sur Firefox) et directement accessible depuis le compte développeur
Exchange Friendly, même si HTC sense (la surcouche HTC) permettait de gérer correctement Exchange, Google a préféré gérer en natif. Pour mieux intéressé les professionnels ?

D'autres évolutions sont également agréables et intéressantes : synchronisation de Maps entre Chrome et le smartphone, amélioration de la reconnaissance vocale, export d'iTunes en mode streaming, .... J'attends maintenant de pouvoir mettre à jour mon Nexus One pour faire un retour plus complet.

La vidéo sur Android

2010-05-19T20:31:00+02:00

Je vais compléter un précédent billet (la vidéo sur iPhone), je vais continuer mon tour d'horizon des technologies vidéos sur les OS mobiles. Dans le cas présent, je parlerais d'Android. Deux types de fichiers sont supportés actuellement par Android :

3GPP, ce format avait été mis en place pour les terminaux mobiles 3G et disparaît peu à peu
MP4

En terme d'encodage, on peut avoir trois types différents :

H263
H264 AVC
MPEG-4 (ce type d'encodage est uniquement possible avec des fichiers 3GPP)

En encodant une vidéo au format d'encodage H264 avec un type de fichier MP4, il est alors possible de lire la vidéo sur Android et sur iPhone.

Pour la diffusion des vidéos, deux solutions sont actuellement possible :

Darwin Streaming Server (projet open source, soutenu par Apple)
VLC Server

Le protocole de diffusion utilisé est alors le RTSP.

Kwaak3 (Quake 3) sur Android

2010-05-18T11:50:00+02:00

Après un certain temps, j'ai finalement réussi à faire tourner Kwaak3 sur Android : à la fois sur un Nexus One, puis sur un Motorola Droid. Pour rappel, Kwaak3 permet de jouer à Quake depuis son terminal. Malheusement pour moi (possesseur d'un Nexus One), il n'est (pour le moment) pas possible d'y jouer. On peut tout au plus tirer ou bouger la caméra grâce à la souris.

Deuxième phase, le portage sur un Droid, là, je n'ai pas eu de soucis, j'ai installé l'application et copier/coller le dossier quake3 de la SDCard du Nexus sur celle du Droid. La jouabilité est pas trop mal malgré le petit clavier du terminal. Cela manque tout de même de précision comparé à la version desktop du jeu (et oui, rien ne vaut une souris). Je n'ai pas encore réussi à tuer un des bots, mais j'ai travaille ;-)

Je pourrais conclure en disant que c'est une première étape intéressante, j'espère avoir très prochainement la possibilité de jouer avec un terminal Android ne possédant pas clavier. Mais également on pourrait espérer un portage des vieux jeux tels que Duke Nukem 3D sur la plateforme voire Serious Sam.

Gesture search ou la recherche avec doigté

2010-05-13T11:49:00+02:00

Je vais vous faire découvrir une application d'une efficacité déconcertante. Son nom : Gesture Search, disponible sur Android Market, l'application est développé par Google. L'application fait tourner une tâche de fond qui indexe les contacts, les marques-pages du navigateur, les applications installées et la musique. Différentes options de configurations sont disponibles :

Côté utilisation, il suffit d'écrire sur l'écran les lettres pour former le mot recherchés.

La vidéo sur iPhone

2010-05-10T20:29:00+02:00

On entends beaucoup parler actuellement du conflit entre Adobe et Apple (lancé pour rappel par Steve Jobs fin avril). Je voudrais m'attarder non pas sur ce conflit mais la technologie vidéo utilisé par l'iPhone et l'iPad et d'en décrire un peu plus les aspects.

La solution recommandée par Apple est le HTTP Live Streaming. Elle offre la possibilité d'utiliser des serveurs HTTP (par exemple Apache) afin de diffuser la vidéo. Le player appelle dans un premier temps un fichier m3u8. Ce fichier est un fichier de metadata, une playlist comme celle-ci :

*\#EXTM3U*

*\#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=64000*

*http://media.example.com/64kb.m3u8*

*\#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=276000*

*http://media.example.com/276kb.m3u8*

*\#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=420000*

*http://media.example.com/420kb.ts*

*\#EXT-X-ENDLIST*

On remarquera tout particulièrement l'élément BANDWITH, il permet de définir le nombre de bits par seconde. Cela permet au player de gérer suivant le réseau quel playlist il va utiliser : en Edge par exemple, le player choisira le fichier 64kb.m3u8. Ce second fichier sera du même format mais contiendra des morceaux de vidéos : des fichiers .ts à lire à la suite les uns des autres. Le player pourra au besoin changer de playlist suivant le débit. Côté encodage, on utilise l'encodage H.264 pour la vidéo et HE-AAC pour l'audio.

Tout ceci est cependant la recommandation d'Apple (cf Guidelines), il est tout à fait possible de lire du MP4 encodé en H.264, il faut juste limité le temps des vidéos à 10min maximum. Dans tous les cas, en utilisant de bons outils d'encodages, la qualité sera au rendez vous et donc la satisfaction des utilisateurs aussi. On pourra par exemple utilisé soit des outils comme ffmpeg, ceux d'Apple; dans le cas d'entreprise, il est également possible d'utiliser de gros serveurs dédié à l'encodage comme ceux d'Inlet Technologies.

Je terminerais par ce lien permettant d'avoir la note technique d'Apple quand à la création et au déploiement du HTTP Live Streaming sur iPhone et iPad

Un fond d'écran GoogleMaps sur Android

2010-05-07T10:54:00+02:00

Un collègue vient de me faire découvrir une fonctionnalité plutôt sympa sur Android (testée sur un Nexus One et un HTC Desire, à valider sur les autres terminaux). Il est possible de mettre en fond d'écran la carte de Google Maps. Ce fond d'écran se met à jour en temps réel suivant la localisation du téléphone.

Pour mettre en place le fond d'écran, il suffit de sélectionner Fond d'écran animé => Maps

Il est ensuite possible de configurer le mode d'affichage : satellite, normal ou terrain. On peut également activé le trafic. Le résultat est le suivant :

La fonctionnalité est plutôt sympathique, surtout lors de déplacement, cela évite de relancer à chaque fois l'application Maps.

Qu'attendre sur Android au prochain Google I/O ?

2010-05-06T21:14:00+02:00

La prochaine conférence annuelle Google I/O aura lieu dans moins de 2 semaines à San Francisco, un mois avant le WWDC d'Apple dans la même ville. Que pouvons-nous attendre de cet événément au sujet de l'OS Android ? Voici les deux points principaux qu'il est/serait à attendre.

Adobe et Google ont déjà annoncé le support natif de Flash 10.1 dans la version 2.2 (alias Froyo) d'Android. Ce support va développer de manière significative l'usage de la vidéo sur le mobile mais également la simplifier. On verra également apparaître des applications basées sur la technologie AIR (on pourrait par exemple s'attendre à un portage de Tweetdeck). On pourrait également voir une annonce par Adobe d'un outil permettant des applications Android avec Flash CS5 ou Flex Builder.

J'attends pour ma part également des annonces concernant la 3D et les jeux basé sur l'OpenGL. En effet, actuellement, peu voire pas d'applications 3D sont disponibles. En fin d'année dernière, Gameloft avait annoncé réduire de manière significative tous les développements sur Android (Android: Gameloft et d'autres lèvent le pied); puis était finalement revenu sur sa décision (Gameloft croit en Android après tout).

Et vous, qu'attendez-vous du prochain Google I/O ?

Migration de technologie J2EE vers PHP

2010-05-06T20:54:00+02:00

Je reprends ici les slides que j'ai utilisé lors de ma conférence au dernier Forum PHP organisé par l'AFUP à la Cité des Sciences de Paris :

*Pour obtenir plus de flexibilité afin de répondre aux demandes des équipes webmarketing, la mise en place d'applications alliant PHP et MySQL en remplacement de J2EE a permis de répondre à ces besoins. Cela a également permis une baisse des coûts (infrastructure d'exploitation, équipes de développements, ...)*

* *

Ouverture d'une nouvelle catégorie : mobile

2010-01-06T14:52:00+01:00

Après la migration d'une blog, j'ouvre une nouvelle catégorie dans le blog : mobile. En effet, ce domaine me prend actuellement un grande partie de mon temps de veille... Autant donc partager mes avis, remarques etc dans le domaine. Je suis utilisateur principalement d'iPhone actuellement, mais il m'arrive de tester le fonctionnement et les applications sous Android et Symbian (Nokia).

Cette catégorie regroupera toutes informations, remarques, pensées à propos de l'univers mobile : nouveaux terminaux, nouvelles technologies, développements, conférences.

Who am I ? - Contact

2010-01-04T22:14:00+01:00

J'ai démarré sur le web à la fin des années 90. Mon parcours pro est parsemé par l'innovation et les nouvelles technologies : vagues de l'internet début 2000, nouveaux écrans et streaming dans les années 2010 et maintenant l'intelligence artificielle. J'aime apprendre en pratiquant et en bidouillant... Vous pouvez me trouver également sur LinkedIn.

Ayé enfin terminé...

2008-10-22T13:07:00+02:00

Je suis content car je viens enfin de terminer la lecture du livre dont j'avais parlé dans un précédent billet

Même si beaucoup de chose m'était déjà connu, j'ai pu compléter mes connaissances ou approfondir certains points. Je pense plus généralement que les livres sont un excellent complément aux informations que l'on pourrait trouver sur le net.

Bref, je suis content d'avoir enfin terminé cela. Je pense maintenant m'attaquer au développement de module ou librairies qui pourraient être utiles dans des cas divers et variés...

De l'utilité des frameworks...

2008-09-29T20:45:00+02:00

Avant tout, je pense qu'il faut séparer les frameworks PHP et ceux en Javascript.

Les Frameworks Javascript sont une véritable révolution dans le "petit" monde du web. Il en existe plusieurs mais deux sont réellement utilisés à grande ampleur :

prototype (actuellement en déclin)
jquery (en pleine croissance avec une foison de plug-ins)

C'est en grande partie grâce à ces frameworks que les applications web2.0 sont apparus (mais pas uniquement, on remerciera également Adobe).

J'en viens maintenant aux frameworks PHP. Actuellement, je dirais qu'il en existe 2 :

le Zend Framework, actuellement en version 1.6 qui est plus une bibliothèque de librairies. Elles sont utiles mais ne composent pas, pour moi, un framework.
Symfony, actuellement dans sa version 1.1. Ce dernier étant pour moi un framework à part entière.

Ces derniers sont pour moins un véritable problème. En effet, ils répondent, il est vrai, à tous les besoins possibles et imaginables. Cependant, ils chargent beaucoup d'élément qui demande du support et dont on ne sait pas toujours comment le déroulement s'effectue.

Je préfère donc réutiliser les briques que j'ai développé moi-même (par exemple pour la gestion des templates ou encore pour la connexion à la base de donnée). Je garde ainsi le contrôle du code, tout en répondant trés précisément au besoin des applications que j'ai à développer.

Je concluerais en disant que pour utiliser un Framework quel qu'il soit, il faut véritablement se poser la question de ce que l'on veut faire et comment on veut le réaliser. On utilisera ensuite l'outils le plus adapté.

Firefox3, premier retour...

2008-06-26T11:08:00+02:00

Après avoir explosé le record de téléchargement en une journée (8 millions qui seront inscrit dans le Guiness des records), je reviens sur l'utilisation de Firefox 3.

Première étape, l'installation ! L'installeur est un fichier très léger (moins de 8Mo ), trés rapide à installer. Un seule bémol mais cela est corrigé progressivement dans le temps : les plug-ins qui n'étaient pas encore disponible pour FF3...

Deuxième étape, l'utilisation ! C'est ici que ça commence réellement. Mon tout premier test fût Gmail plutôt lente sur FF2. Résultat, j'ai été scotché sur mon siége, je croyais difficilement possible de rendre l'interface aussi "instantanée". On clique, la page s'affiche ! Bref, Tristan Nitot ne nous avait pas menti en indiquant que l'application serait 4 fois plus rapide. Le reste du surf sur le net, même avis, les pages contenant de l'Ajax sont plus rapides et la gestion et performance du Javascript est augmentée !

Pour résumé, j'aurais beaucoup de mal à repasser sur Firefox 2... A noter également que Firefox 3 intégre une partie du draft de spécification du HTML5

Testons nos variables (les expressions régulières)...

2008-06-04T15:42:00+02:00

J'ai abordé le sujet dans mon précédent billet. Les expressions régulières ou rationnelles sont puissantes et rapides, une fois qu'elles sont maitrisés. En PHP, il existe deux types d'expressions régulières :

les POSIX
les PCRE (Perl Compatible Regular Expressions)

C'est le second type qui est le plus performant mais plutôt que de faire un long laïus dessus, je propose de lire ce tutoriel qui les explique très clairement : Les expressions régulières PCRE (Perl Compatible Regular Expressions).

Les expressions régulières me permettent de tester les variables qui proviennent de formulaires en POST ou en GET, tout particulièrement lorsque ces dernières vont "attaquer" ensuite une base de donnée. Cela évite tout problème d'injection SQL. J'ai, par ailleurs, mis en place une librairie avec différents types de données (nom, prénom, titre, email, ville, etc...) que je réutilise pour valider les informations récoltées.

Je n'ai pas, pour le moment, trouvé de meilleure solution pour tester des variables que les expressions régulières. Pourquoi m'en priverais-je si elles sont en plus performantes ? ;-)

Les bienfaits des tests de variable en PHP

2008-05-20T08:34:00+02:00

J'ai fait ce billet pour deux raisons principales :

avoir un coup de gueule auprès des personnes qui ne sont pas capable de mettre en place leur test de variables
montrer quelques exemples simples pour éviter des erreurs Notice ou Warning en PHP.

Avant tout, la première chose à faire est d'effectuer ses développements avec le niveau le plus haut d'erreur E_ALL. Très souvent cela indique énormément d'erreur mais la contre partie est que l'on aura par la suite moins de problème d'erreur et de compréhension au niveau du code.

Premier exemple que je rencontre très régulièrement : la non initialisation d'une clé d'un tableau. Ce type d'erreur se voit par un Notice :

Notice: Undefined index 'champ' in 'fichier.php' on line 10

Ce type d'erreur est très simple à corriger. J'utilise pour ma part la fonction isset(). Cela donne le bout de code suivant :

if (isset($tableau['champ'])) {

traitement normal

} else {

on assigne une valeur par défaut

}

On peut appliquer le même type de traitement pour les données des variables \$_GET, \$_POST, ...

Le second exemple concerne plus la sécurisation des données venant provenant des formulaires et / ou URL pour valider en utilisant les expressions régulières. Mais ce second exemple fera l'objet d'un prochain billet.

Industrialisation des développements, ça marche...

2008-04-21T22:54:00+02:00

J'ai participé à une conférence mardi dernier organisé par Bull, dans le cadre des Mornings du Libre. Deux conférenciers au programme :

Alban Henry, responsable avant-vente, pour Zend, nous présentant les différentes solutions proposés par Zend pour industrialiser les développements en PHP
Georges Hiraclides, de chez Bull, nous présenta pour sa part : NovaForge, leur usine de développement logiciel.

Pour faire un résumé de NovaForge, j'utiliserais le terme d'agrégateur d'outils de gestion de projet dans le cadre d'une industrialisation globale des processus. En effet, ce dernier regroupe :

des outils de Knowledge Management (wiki, forums, etc...)
des outils de reporting projet ou de pilotage du macro au micro pour permettre à tous les intervenants d'avoir la meilleure vision possible
des outils de développements
des outils d'intégration et de test
des outils de référentiel : bibliothèque de librairies, bonnes pratiques etc...

Pour le moment accès sur les développements en Java, la version PHP sera prochainement disponible.

C'est la raison pour laquelle Zend était également présent à cette conférence. Alban Henry nous a présenté les différents logiciels et contribution :

Zend Engine (le moteur PHP),
Zend Framework (l'un des Frameworks PHP les plus populaires)
Zend Core : un package stable contenant l'ensemble des librairies et serveurs pour l'utilisation de PHP
Zend Studio : l'IDE
Zend Platform: l'applicatif côté serveur pour le debug, le reporting...
Zend Guard : pour protéger les sources.

Bref tout un panel d'outils permettant d'industrialiser les développements.

Ce que je retiendrais de cette conférence, c'est surtout que toutes les sociétés qui sont passés dans un mode "Industrialisation des développements" a vu ses performances accrus et ses coûts réduits avec un gain de qualité... Je prêchais déjà la bonne parole, je vais continuer à le faire...

NB : je suis reparti de cette conférence avec quelques goodies (stylo, tapis de souris...) mais également avec un Livre Blanc intitulé : Les forces Logicielles, vers la révolution industrielle des développements applicatifs. Je vous en parlerais dans un prochain billet.

Sécurité et PHP

2008-03-26T19:20:00+01:00

Et voilà, je viens de terminer ce livre, dont je parlais dans ce billet :

Accès sur PHP5, il peut également être appliqué à PHP4 (encore présent sur certaines plateformes). Côté base de donnée, c'est bien entendu MySQL qui est ciblé, cependant les différentes méthodes appliquées pourraient être transposés avec d'autres bases de données (Oracle, PostgreSQL...).

Mon impression générale est excellente, je ne suis pas déçu de l'investissement. Certains des points abordés m'ont permis :

soit de confirmer les méthodes que j'avais mis en place lors de mes précédents développements
soit de me permettre ultérieurement d'améliorer la sécurité de mon code.

Le livre m'a également permettre de mettre à jour des méthodes de "piratages" de site que je ne connaissais ou pensais presque impossible à mettre en place. Bref, un livre a posséder absolument !

Prochain livre "technique", le pavé PHP5 Avancé...

Fin de Netscape, démarrage de Internet Explorer 8

2008-03-04T12:05:00+01:00

Netscape a tiré sa révérence ce mois de Février dernier. On se rappelera de Netscape comme étant le premier navigateur à avoir vulgarisé le web (au niveau de son utilisation). Le projet a démarré en 1994. C'est également grâce à Netscape que le Javascript était né. On retiendra également sa mort progressive avec l'arrivée massive et écrasante (dû à son installation par défaut sur les ordinateurs) du navigateur Internet Explorer de Microsoft.

Racheté plusieurs milliards de dollars par AOL, Netscape n'a alors jamais réussi à remonter la pente. Mais ces "fondateurs" ont migré vers la fondation Mozilla et plus précisément vers le développement de Firefox, l'outsider actuel d'Internet Explorer. La dernière version de Netscape est la 9.0.0.6.

Mais à peine la fin de Netscape, que l'on parle chez l'éditeur de Richmond (Microsoft) de la prochaine mouture d'Internet Explorer : la version 8. Enfin, on parle, on devrais plutôt dire que les tests sont en train de démarrer, la beta 1 est disponible aux abonnées de la MSDN. Cette version contiendra 2 moteurs afin de gérer progressivement la bascule entre le HTML4/(x)HTML et le HTML5/CSS2.1/XHTML1.1 (cf mon précédent billet). Lors de l'affichage des pages, l'application choisira le moteur adapté en fonction de la page.

Mon avis personnel est l'attente d'un navigateur made in Microsoft réellement fidèle aux recommandations du W3C. Ceci afin de ne pas rencontrer à nouveau les problèmes que l'on a toujours avec IE6. En revanche, je salue Microsoft de permettre une migration progressive des sites vers les futurs standards.

J'attends donc les retours de la fondation Mozilla (qui prépare dans l'année la sortie de Firefox 3) et d'Opera.

Optimisation et sécurisation de PHP

2008-02-29T12:10:00+01:00

Je répercute un lien depuis le blog de Julien Pauli. Ce lien explique les différentes méthodes de mises en cases de code développé en PHP entre l'opcode caching, le memcache et le cache de rendu de page, on trouve toutes les informations dont on a besoin :) J'ai moi même pu compléter à mes connaissances des outils que je ne connaissais pas ou juste de nom.

L'autre point concerne un livre en Français qui va trés prochainement rejoindre ma bibliothéque "technique" : Sécurité PHP 5 et MySQL. Le livre est écrit par deux personnes connus du monde PHP en France : Damien Séguy (Nexen) et Philippe Gamache. Je vous tiendrais une courant une fois que je l'aurais lu ;)