PDF-Optimisation

[Karduin]

Cellules de codes :

• Lignes trop longues
  Que ce soit sur le code ou sur le résultat après une évaluation de la cellule.
  • La génération du pdf via Jupyter coupe la ligne
  • En Latex on récupère bien sur l’intégralité de la ligne mais en générant le pdf il y a le même problème.

Exemples :

• w3-s1-c1-fichier
  • 1.1.2 les modes d’ouvertures
    deuxième cellule de code
    w3-s1-c1-fichier screen
• w6-s1-c4-datetime-1
  • 1.1.1 Le module time
    4éme et 5éme cellule de code
    w6-s1-c4-datetime-1 screen

Bien sur c'est un fonctionnement logique puisque c'est du code mais comme tu l'as souligné peut-être une extension Jupyter pour ça.

[parmentelat]

ok c'est très utile

• c'est très gérable au niveau des entrées, je bricole ma moulinette dans ce sens
• au niveau des sorties par contre, c'est beaucoup plus délicat; en général il me semble que ce n'est pas très grave s'il manque un morceau des sorties trop longues. Est-ce que je me trompe, as-tu un exemple où ce n'est pas le cas ?

[Karduin]

Justification des tableaux :

• La justification à droite des tableaux n’est pas prise en compte.
  Dans les fichiers tex, il faut changer la justification.

\begin{longtable}[]{@{}lr@{}}

Exemple :

• w3-s1-c1-fichier
  • Lire un contenu bas niveau
    tableau screen

Bon c'est clairement pas pénalisant.

[Karduin]

url sans lien :

Parfois le code latex pour les url n'est pas généré.
du coup il faut le faire dans le fichier tex.

Exemple :

• w3-s1-c1-fichier
  url

[Karduin]

ok c'est très utile

* c'est très gérable au niveau des entrées, je bricole ma moulinette dans ce sens

* au niveau des sorties  par contre, c'est beaucoup plus délicat; en général il me semble que ce n'est pas très grave s'il manque un morceau des sorties trop longues. Est-ce que je me trompe, as-tu un exemple où ce n'est pas le cas ?

Dans cet exemple tu verra les 3 points déjà signalés. w3-s1-c1.pdf
Si pour une ligne de commentaire ce n'est pas bien grave, pour une ligne de code ou un résultat d’évaluation de la cellule c'est plus embêtant.

[Karduin]

Sauts de ligne :

Toujours dans cet exemple,(voir le même pdf)
dans le notebook on à :

La méthode flush

Les entrées-sorties sur fichier sont bien souvent bufferisées par le système
d’exploitation. Cela signifie qu’un appel à write ne provoque pas forcément une écriture immédi-
ate, car pour des raisons de performance on attend d’avoir suffisamment de matière avant d’écrire
sur le disque.

Il y a des cas où ce comportement peut s’avérer gênant, et où on a besoin d’écrire immédiate-
ment (et donc de vider le buffer), et c’est le propos de la méthode flush.

alors qu'avec le pdf on obtient :

La méthode flush Les entrées-sorties sur fichier sont bien souvent bufferisées par le système
d’exploitation. Cela signifie qu’un appel à write ne provoque pas forcément une écriture immédi-
ate, car pour des raisons de performance on attend d’avoir suffisamment de matière avant d’écrire
sur le disque.
Il y a des cas où ce comportement peut s’avérer gênant, et où on a besoin d’écrire immédiate-
ment (et donc de vider le buffer), et c’est le propos de la méthode flush.

Bon c'est plus de l’esthétique qu'autre chose mais ça facilite la lecture.

[Karduin]

Caractères spéciaux ou Math :
Dans l'entête du fichier tex il doit manquer les packages correspondant à ces caractères.
Du coup ces caractères sont soit absent soit remplacé par un code UTF8.
Exemple :

• w2-s1-c1-accents
  • le pi en gras fonctionne pas.

[Karduin]

Tout ça concerne ce que tu as appelé l’étape 2, il y en a encore. Bien sur ce ne sont que des exemples, on retrouve ces problèmes à différents endroits du document.
Pour l'étape 1, je vais faire un petit résumé de ce qu'il faudrait faire pour automatiser le plus possible.

[Karduin]

Étape 1

Le fichier master python.tex construit à partir d'un notebook ne doit contenir que :

L’entête LaTeX

• Les packages utilisés langues, math, formatage, etc.

  Ce que j’ai modifié ou ajouté:

	\documentclass[11pt]{article} changé pour \documentclass[11pt, a4paper, french]{book}

	Ajout : \usepackage[frenchb]{babel} 
	        \usepackage[Lenny]{fncychap} (style des chapitres)

• Les commandes de mises en couleur du code.

• La première de couverture.

La commande \title et \maketitle est mise en commentaire et remplacé par ce qui est entre les balise \begin{titlepage}… \end{titlepage}

• La liste des fichiers découpés en chapitres.

  Ne pas numéroter la table des matières

Juste apres le \endtitle{page} ajout de 

\pagestyle{empty}
\addtocontents{toc}{\protect\thispagestyle{empty}}
\tableofcontents
\thispagestyle{empty}

puis :

\chapter{Introduction au MOOC et aux outils Python} (titre de chapitre)
\pagestyle{plain} (reprendre la numerotation)
\setcounter{page}{1} (reprendre la numerotation)
\include{w1-s1-c1-versions-python} (inclure les fichiers tex)
...

Les notebooks

Enregistrés en LaTeX ou via nbconvert

Les cellules doivent avoir été exécutés sauf :

• Les cellules destinées aux étudiants.
• Les cellules PythonTutor qui pointent vers une page html et donc ne passe pas dans LaTeX.
• Les exercices bien que si on avait les exemples on pourrait travailler offline.

Enregistrer via les notenooks on contrôle bien les cellules à exécuter.
Avec nbconvert option execute je ne vois pas de solution simple pour contrôler les cellules à exclurent. De plus quand une cellule attend une entrée utilisateur, ça bloque toute les cellules suivantes.

Il faut ensuite supprimer toute l'entête de ces fichiers de la première ligne à
{Licence CC BY-NC-ND} {Thierry Parmentelat \& Arnaud Legout} {} inclus. (cette dernière info est sur la couverture)
Il faut aussi supprimer ces deux dernières lignes

    % Add a bibliography block to the postdoc   
    \end{document}

Pour que la table des matières soit à jour il faut compiler deux fois.

Publications à la semaine deux options,

• on scinde le fichier complet auquel cas il n'y a pas de TOC pour les publications à la semaine.
• on recompile semaine par semaine avec une TOC qui ne concerne que la semaine

Publication de S1 à Sx pas de problème particulier.

Ouf, j’espère ne rien avoir oublié ! Et bravo si tu as tout lu ;-)

[parmentelat]

Oui j'ai tout lu, je pense que j'ai compris en gros;

Quelques améliorations que j'envisage à court terme:

• en admettant que les .tex sont OK, j'aimerais avoir pour commencer un outil qui me permette de dire:
  je veux la semaine 5, ou bien je veux les semaines de 1 à 4, ou de 2 à 6.
  et ne rien avoir à éditer à la main parce que c'est trop casse-pieds.

Bien sûr les détails de l'entête de Python.tex vont rester en dur dans un .tex, on ne va générer que la partie contenu of course.

La seule valeur ajoutée ici finalement c'est de scanner le contenu du directory qui contient les .tex et de ne retenir que ceux qui ont le bon pattern, ajouter le sucre avec les chapter et autres table des matières - ou pas d'ailleurs.

• ensuite ce qu'on pourrait essayer à titre un peu expérimental, ce serait d'automatiser le passage ipynb -> latex

Ce qui me paraît le plus délicat c'est le choix des cellules à évaluer ou pas; Il se trouve que dans mon labo on a le même problème pour publier; on voudrait bien commencer à publier sous forme de notebook, mais au moment de générer le pdf on a exactement le même souci. Et on s'est dit qu'on pourrait utiliser les metadata des cellules pour marquer celles qu'on veut ou pas rendre ou évaluer dans le .tex; et aussi comme tu le dis, de gérer les appels à input() qui bloquent; sur ce point précis j'ai trouvé:

w1/w1-s4-c3-fibonacci-prompt.ipynb:    "entier = int(input(\"Entrer un entier \"))"
w1/w1-s6-c1-calculette.ipynb:    "reponse = input(\"quel est votre âge ? \")"
w2/w2-s2-c3-la-fonction-input.ipynb:    "nom_ville = input(\"Entrez le nom de la ville : \")\n",
w2/w2-s2-c3-la-fonction-input.ipynb:    ">>> input(\"nombre de lignes ? \") + 3\n",
w2/w2-s2-c3-la-fonction-input.ipynb:    "int(input(\"Nombre de lignes ? \")) + 3"

Sur ce sujet-là je vais réfléchir un peu plus et voir s'il y a déjà d'autres gens qui sont partis sur une voie analogue; genre quels tags on met dans les metadata pour indiquer ce qu'on veut faire, car si quelqu'un a déjà commencé à outiller ça (ça m'étonnerait que non, reste à les trouver :) il est important de choisir quelque chose de cohérent.

[parmentelat]

J'ai gribouillé un script pour ne plus avoir à modifier Python.tex
Le script s'appelle contenu.py et il génère contenu.tex qui est inclus par Python.tex

voir le howto.md, que j'ai remis à jour sommairement

j'en ai profité pour numéroter les chapitres en fonction de la semaine; c'est à dire que la semaine 4 par exemple est toujours publiée dans le chapitre 4 quelle que soit la sélection de semaines qu'on a faite

[parmentelat]

Je n'ai pour l'instant rien trouvé du tout concernant le passage de ipynb à latex, à propos de la façon de tagger dans les metadata la façon de gérer les différentes cellules; un sujet qui a besoin de mûrir un peu je pense avant qu'on puisse coder...

[Karduin]

De mon coté j'ai trouvé comment gérer les interlignes de paragraphes.
En rapport avec Saut de ligne plus haut.

Il suffit de rajouter dans le fichier master : \setlength{\parskip}{1em}. Je vais le modifier en conséquence. Ça implique qu'il faut que je reprenne tous les fichiers tex déjà fait pour supprimer les line break que j'avais ajouter.

De même, quand tu met un titre de niveau 4 dans un notebook (####) le passage au latex ne tient aucun compte de l'interligne. On peux remplacer niveau 4 par bold qui me parait équivalent du point de vu de la police. Du coup grâce à la commande précédente, le problème d'interligne est complétement résolu.

Si tu ne vois pas de quoi je parle, je mettrai un exemple.

[Karduin]

Il n'y a pas un système pour checker les problèmes résolus ?

J'ai aussi chercher des infos ipynb => LaTeX, je pense avoir trouvé des choses intéressantes mais ça dépasse un peu mon niveau pour le moment. Je mettrai des liens pour avoir ton avis.

[parmentelat]

On 22 Oct 2018, at 18:31, Karduin ***@***.***> wrote: Il n'y a pas un système pour checker les problèmes résolus ? — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

comment ça les problèmes résolus ? je ne suis pas sûr que c’est de ça que tu parles, mais en principe on crée une ‘Issue’ par problème et on ferme l’Issue quand le problème est réglé. Pour ton point précédent avec les sections de profondeur 4, je vois bien ce que tu veux dire par rapport au déménagement de repos, c’est ballot parce que du coup je n’ai pas pu le faire aujourd’hui et je ne suis pas trop sûr d’avoir le temps de m’occuper de ça ces jours-ci, donc jusqu’à nouvel ordre tu peux y aller et committer des trucs sans soucis dans ce repo-ci, je te recontacterai avant de couper ce repo en morceaux. enfin j’ai commencé à çrire une moulinette qui vise à traduire les .ipynb en .tex ça s’appelle nbcurtomexec.py et c’est ici https://github.com/parmentelat/flotpython/blob/master/tools/nbcustomexec.py bon pour l’instant: * on ne parle que de l’évaluation du python et pas de la génération du latex encore, * et ça ne fait rien d’intelligent, sauf skipper les cellules qui ont un ipythontutor, en guise de proof of concept à suivre; mais comme je disais ces jours-ci j’ai plein d’autres sujets en suspens et du coup pas beaucoup de temps :) — Thierry

[Karduin]

OK je me doute que tu as beaucoup de travail ! Je fais ça aussi sur du temps libre et ce n'est pas simple d'en trouver.
Du coup je suis moins assidu sur le cours de python, mais ce n'est pas grave je me rattraperai après.
Ce travail est formateur et forcement réutilisable.

je ne suis pas sûr que c’est de ça que tu parles, mais en principe on crée une ‘Issue’ par problème et on ferme l’Issue quand le problème est réglé.

Oui c'est bien ce que je voulais dire.

Comme je reprend les .tex pour supprimer les line break inutiles je vais en profité pour corrigé une bêtise de ma part en renommant le dossier medias => media (comme dans l'original) et les liens vers les images