refactor(verne): Dakar20000, use LisSansTaMaman

NicolasVerne/data/investiture,txt

-En ce jour où je prends officiellement mes fonctions de Président de la République française, je pense à la France, ce vieux pays qui a traversé tant d'épreuves et qui s'est toujours relevé, qui a toujours parlé pour tous les hommes et que j'ai désormais la lourde tâche de représenter aux yeux du monde.
-
-Je pense à tous les Présidents de la Ve République qui m'ont précédé. Je pense au Général De Gaulle qui sauva deux fois la République, qui rendit à la France sa souveraineté et à l'Etat sa dignité et son autorité. Je pense à Georges Pompidou et à Valéry Giscard d'Estaing qui, chacun à leur manière, firent tant pour que la France entrât de plain-pied dans la modernité. Je pense à François Mitterrand, qui sut préserver les institutions et incarner l'alternance politique à un moment où elle devenait nécessaire pour que la République soit à tous les Français. Je pense à Jacques Chirac, qui pendant douze ans a œuvré pour la paix et fait rayonner dans le monde les valeurs universelles de la France. Je pense au rôle qui a été le sien pour faire prendre conscience à tous les hommes de l'imminence du désastre écologique et de la responsabilité de chacun d'entre eux envers les générations à venir.
-
-Mais en cet instant si solennel, ma pensée va d'abord au peuple français qui est un grand peuple, qui a une grande histoire et qui s'est levé pour dire sa foi en la démocratie, pour dire qu'il ne voulait plus subir. Je pense au peuple français qui a toujours su surmonter les épreuves avec courage et trouver en lui la force de transformer le monde. Je pense avec émotion à cette attente, à cette espérance, à ce besoin de croire à un avenir meilleur qui se sont exprimés si fortement durant la campagne qui vient de s'achever. Je pense avec gravité au mandat que le peuple français m'a confié et à cette exigence si forte qu'il porte en lui et que je n'ai pas le droit de décevoir. Exigence de rassembler les Français parce que la France n'est forte que lorsqu'elle est unie et qu'aujourd'hui elle a besoin d'être forte pour relever les défis auxquels elle est confrontée. Exigence de respecter la parole donnée et de tenir les engagements parce que jamais la confiance n'a été aussi ébranlée, aussi fragile. Exigence morale parce que jamais la crise des valeurs n'a été aussi profonde, parce que jamais le besoin de retrouver des repères n'a été aussi fort. Exigence de réhabiliter les valeurs du travail, de l'effort, du mérite, du respect, parce que ces valeurs sont le fondement de la dignité de la personne humaine et la condition du progrès social. Exigence de tolérance et d'ouverture parce que jamais l'intolérance et le sectarisme n'ont été aussi destructeurs, parce que jamais il n'a été aussi nécessaire que toutes les femmes et tous les hommes de bonne volonté mettent en commun leurs talents, leurs intelligences, leurs idées pour imaginer l'avenir. Exigence de changement parce que jamais l'immobilisme n'a été aussi dangereux pour la France que dans ce monde en pleine mutation où chacun s'efforce de changer plus vite que les autres, où tout retard peut être fatal et devient vite irrattrapable. Exigence de sécurité et de protection parce qu'il n'a jamais été aussi nécessaire de lutter contre la peur de l'avenir et contre ce sentiment de vulnérabilité qui découragent l'initiative et la prise de risque. Exigence d'ordre et d'autorité parce nous avons trop cédé au désordre et à la violence, qui sont d'abord préjudiciables aux plus vulnérables et aux plus humbles. Exigence de résultat parce que les Français en ont assez que dans leur vie quotidienne rien ne s'améliore jamais, parce que les Français en ont assez que leur vie soit toujours plus lourde, toujours plus dure, parce que les Français en ont assez des sacrifices qu'on leur impose sans aucun résultat. Exigence de justice parce que depuis bien longtemps autant de Français n'ont pas éprouvé un sentiment aussi fort d'injustice, ni le sentiment que les sacrifices n'étaient pas équitablement répartis, ni que les droits n'étaient pas égaux pour tous. Exigence de rompre avec les comportements du passé, les habitudes de pensée et le conformisme intellectuel parce que jamais les problèmes à résoudre n'ont été aussi inédits.
-
-Le peuple m'a confié un mandat. Je le remplirai. Je le remplirai scrupuleusement, avec la volonté d'être digne de la confiance que m'ont manifestée les Français. Je défendrai l'indépendance et l'identité de la France. Je veillerai au respect de l'autorité de l'Etat et à son impartialité. Je m'efforcerai de construire une République fondée sur des droits réels et une démocratie irréprochable. Je me battrai pour une Europe qui protège, pour l'union de la Méditerranée et pour le développement de l'Afrique. Je ferai de la défense des droits de l'homme et de la lutte contre le réchauffement climatique les priorités de l'action diplomatique de la France dans le monde.
-
-La tâche sera difficile et elle devra s'inscrire dans la durée. Chacun d'entre vous à la place qui est la sienne dans l'Etat et chaque citoyen à celle qui est la sienne dans la société ont vocation à y contribuer. Je veux dire ma conviction qu'au service de la France il n'y a pas de camp. Il n'y a que les bonnes volontés de ceux qui aiment leur pays. Il n'y a que les compétences, les idées et les convictions de ceux qui sont animés par la passion de l'intérêt général. A tous ceux qui veulent servir leur pays, je dis que je suis prêt à travailler avec eux et que je ne leur demanderai pas de renier leurs convictions, de trahir leurs amitiés et d'oublier leur histoire. A eux de décider, en leur âme et conscience d'hommes libres, comment ils veulent servir la France.
-
-Le 6 mai il n'y a eu qu'une seule victoire, celle de la France qui ne veut pas mourir, qui veut l'ordre mais qui veut aussi le mouvement, qui veut le progrès mais qui veut la fraternité, qui veut l'efficacité mais qui veut la justice, qui veut l'identité mais qui veut l'ouverture. Le 6 mai il n'y a eu qu'un seul vainqueur, le peuple français qui ne veut pas renoncer, qui ne veut pas se laisser enfermer dans l'immobilisme et dans le conservatisme, qui ne veut plus que l'on décide à sa place, que l'on pense à sa place. Eh bien, à cette France qui veut continuer à vivre, à ce peuple qui ne veut pas renoncer, qui méritent notre amour et notre respect, je veux dire ma détermination à ne pas les décevoir.
-
-Vive la République ! Vive la France !
\ No newline at end of file

NicolasVerne/verne.py

+from datetime import datetime
+
 from keras.callbacks import ModelCheckpoint, EarlyStopping
 
-from glossolalia.loader import load_seeds, load_text, load_texts
-from glossolalia.lstm import generate_padded_sequences, create_model, generate_text
+from glossolalia.loader import load_seeds, load_texts
+from glossolalia.lstm import LisSansTaMaman
 from glossolalia.tokens import PoemTokenizer
 
 
-def main():
+def train():
     # should_train = True
-    # model_file = "../models/dawa_lstm_%i.hd5" % nb_epoch
-    nb_words = 20
+    nb_words = 200
     nb_epoch = 100
     nb_layers = 128
-    dropout = .3
-    tokenizer = PoemTokenizer()
+    dropout = .2  # TODO fine-tune layers/dropout
+    validation_split = 0.2
+    lstm = LisSansTaMaman(nb_layers, dropout, validation_split,
+                          tokenizer=PoemTokenizer(lower=False), debug=True)
+    #
+    filename_model = "../models/verne/verne_lstm%i-d%.1f-{epoch:02d}_%i-{accuracy:.4f}.hdf5" % (
+        nb_layers, dropout, nb_epoch)
+    filename_output = "./output/verne_%i-d%.1f_%s.txt" % (
+        nb_layers, dropout, datetime.now().strftime("%y%m%d_%H%M"))
+    callbacks_list = [
+        ModelCheckpoint(filename_model, monitor='val_accuracy', period=10, save_best_only=True),
+        EarlyStopping(monitor='val_accuracy', patience=5)]
 
-    # if should_train:
     corpus = load_texts()
     print("Corpus:", corpus[:10])
-
-    inp_sequences, total_words = tokenizer.get_sequence_of_tokens(corpus)
-    predictors, label, max_sequence_len = generate_padded_sequences(inp_sequences, total_words)
-    model = create_model(max_sequence_len, total_words, layers=nb_layers, dropout=dropout)
-    model.summary()
-
-    file_path = "../models/verne/verne_lstm%i-d%.1f-{epoch:02d}_%i-{accuracy:.4f}.hdf5" % (nb_layers, dropout, nb_epoch)
-    checkpoint = ModelCheckpoint(file_path, monitor='accuracy', period=10, save_best_only=True)
-    # print_callback = LambdaCallback(on_epoch_end=on_epoch_end)
-    early_stopping = EarlyStopping(monitor='accuracy', patience=5)
-    callbacks_list = [checkpoint, early_stopping]
-
+    lstm.create_model(corpus)
+    with open(filename_output, "a+") as f:
         for i in range(0, nb_epoch, 10):
-        model.fit(predictors, label, initial_epoch=i, epochs=min(i + 10, nb_epoch), verbose=2, callbacks=callbacks_list)
-        for seed in ["", "Je", "Tu", "Le", "La", "Les", "Un", "On", "Nous"]:
-            print(generate_text(model, tokenizer, seed, nb_words, max_sequence_len))
+            lstm.fit(epochs=min(i + 10, nb_epoch), initial_epoch=i,
+                     callbacks=callbacks_list,
+                     validation_split=validation_split)
 
-    # model.save(model_file)
-    # else: # FIXME: Load and predict, maybe reuse checkpoints?
-    # model = load_model(model_file)
+            for output in lstm.predict_seeds(nb_words):
+                print(output)
+                f.writelines(output)
 
         for i, seed in enumerate(load_seeds(corpus, 5)):
-        output = generate_text(model, tokenizer, seed, nb_words, max_sequence_len)
+            output = lstm.predict(seed, nb_words)
             print("%i %s -> %s" % (i, seed, output))
+            f.writelines(output)
 
-    with open("./output/verne.txt", "a+") as f:
         while True:
             input_text = input("> ")
-            text = generate_text(model, tokenizer, input_text, nb_words, max_sequence_len)
-
+            text = lstm.predict(input_text, nb_words)
             print(text)
             f.writelines("%s\n" % text)
 
 
-def debug_unrandomize():
-    from numpy.random import seed
-    from tensorflow_core.python.framework.random_seed import set_random_seed
-
-    # set seeds for reproducibility
-    set_random_seed(2)
-    seed(1)
-
-
 if __name__ == '__main__':
-    debug_unrandomize()
-    main()
+    train()