Tag: wikipedia

Imitation Game

The Imitation Game

From Wikipedia, the free encyclopedia

The Imitation Game is a 2014 historical thriller film about British mathematician, logician, cryptanalyst and pioneering computer scientist Alan Turing. Turing was a key figure in cracking Nazi Germany‘s naval Enigma code which helped the Allies win the Second World War, only to later be criminally prosecuted for his homosexuality. The film stars Benedict Cumberbatch as Turing, and is directed by Morten Tyldum, with a screenplay by Graham Moore based on the biography Alan Turing: The Enigma by Andrew Hodges.

The film’s screenplay topped the annual Black List for best unproduced Hollywood scripts in 2011. After a bidding process against five other studios, The Weinstein Company acquired the film for $7 million in February 2014, the highest amount ever paid for US distribution rights at the European Film Market. It had its world premiere at the 41st Telluride Film Festival in August 2014. It also featured at the 39th Toronto International Film Festival in September where it won “People’s Choice Award for Best Film”, the highest award of the festival. It had its European premiere as the opening film of the 58th BFI London Film Festival in October and was released theatrically in the United Kingdom on 14 November, and in the United States on 28 November.

The Imitation Game was both a critical and commercial success. The film was included in both the National Board of Review‘s and American Film Institute‘s “Top 10 Films of 2014”. At the 87th Academy Awards, it has been nominated in eight categories including Best Picture, Best Director for Tyldum, Best Actor for Cumberbatch and Best Supporting Actress for Keira Knightley. It also garnered five nominations in the 72nd Golden Globe Awards and was nominated in three categories at the 21st Screen Actors Guild Awards including Outstanding Performance by a Cast in a Motion Picture. In addition, it received nine British Academy of Film and Television Arts nominations including Best Film and Outstanding British Film. Its cast and crew were honoured by LGBT civil rights advocacy and political lobbying organisation Human Rights Campaign for bringing Turing’s legacy to a wider audience. As of January 2015, the film has grossed a total of $84.5 million worldwide against a $15 million production budget.

In terms of historical accuracy, while the broad outline of Turing’s life as depicted in the film is true, a number of historians have noted that elements within it represent distortions of what actually happened, especially in terms of Turing’s work at Bletchley Park during the war and his relationship with friend and fellow code breaker Joan Clarke.

[ …]

{{ source }}

Extract, transform, load

In computing, Extract, Transform and Load (ETL) refers to a process in database usage and especially in data warehousing that:

Usually all the three phases execute in parallel since the data extraction takes time, so while the data is being pulled another transformation process executes, processing the already received data and prepares the data for loading and as soon as there is some data ready to be loaded into the target, the data loading kicks off without waiting for the completion of the previous phases.

ETL systems commonly integrate data from multiple applications(systems), typically developed and supported by different vendors or hosted on separate computer hardware. The disparate systems containing the original data are frequently managed and operated by different employees. For example a cost accounting system may combine data from payroll, sales and purchasing.

Extract

The first part of an ETL process involves extracting the data from the source systems. In many cases this is the most challenging aspect of ETL, since extracting data correctly sets the stage for the success of subsequent processes.

Most data warehousing projects consolidate data from different source systems. Each separate system may also use a different data organization and/or format. Common data source formats are relational databases, XMLs and flat files, but may include non-relational database structures such as Information Management System (IMS) or other data structures such as Virtual Storage Access Method (VSAM) or Indexed Sequential Access Method (ISAM), or even fetching from outside sources such as through web spidering or screen-scraping. The streaming of the extracted data source and load on-the-fly to the destination database is another way of performing ETL when no intermediate data storage is required. In general, the goal of the extraction phase is to convert the data into a single format appropriate for transformation processing .

An intrinsic part of the extraction involves data validation to confirm if the data pulled from the sources have the correct/expected values in a given domain (such as a pattern/default or list of values) . In case the data fails the validation rules it is rejected entirely or in part. The rejected data is ideally reported back to the source system for further analysis to identify and rectify the incorrect records. In cases the extraction process itself may have to modify the data validation rule in order to accept the data to flow to the next phase.

ETL_Architecture_Pattern

Transform

The data transformation stage applies a series of rules or functions to the extracted data from the source to derive the data for loading into the end target. Some data do not require any transformation at all; known as direct move or pass through data in technical terms.

An important function of data transformation is cleansing of data that aims to pass only proper data to the target. When different systems interact with each other; based on how these systems store data, there is a challenge in interfacing/communicating with each other. Certain character set that may be available in one system may not be available in other. These cases must be handled correctly or eventually lead to a number of data quality related issues.

In other cases, one or more of the following transformation types may be required to meet the business and technical needs of the server or data warehouse:

  • Selecting only certain columns to load: (or selecting null columns not to load). For example, if the source data has three columns (also called attributes), roll_no, age, and salary, then the selection may take only roll_no and salary. Similarly, the selection mechanism may ignore all those records where salary is not present (salary = null).
  • Translating coded values: (e.g., if the source system stores 1 for male and 2 for female, but the warehouse stores M for male and F for female)
  • Encoding free-form values: (e.g., mapping “Male” to “M”)
  • Deriving a new calculated value: (e.g., sale_amount = qty * unit_price)
  • Sorting: Order the data based on a list of columns to improve searching
  • Joining data from multiple sources (e.g., lookup, merge) and deduplicating the data
  • Aggregation (for example, rollup — summarizing multiple rows of data — total sales for each store, and for each region, etc.)
  • Generating surrogate-key values
  • Transposing or pivoting (turning multiple columns into multiple rows or vice versa)
  • Splitting a column into multiple columns (e.g., converting a comma-separated list, specified as a string in one column, into individual values in different columns)
  • Disaggregation of repeating columns into a separate detail table (e.g., moving a series of addresses in one record into single addresses in a set of records in a linked address table)
  • Look up and validate the relevant data from tables or referential files for slowly changing dimensions.
  • Applying any form of simple or complex data validation. If validation fails, it may result in a full, partial or no rejection of the data, and thus none, some or all the data are handed over to the next step, depending on the rule design and exception handling. Many of the above transformations may result in exceptions, for example, when a code translation parses an unknown code in the extracted data.

Load

The load phase loads the data into the end target that may be a simple de-limited flat file or a data warehouse. Depending on the requirements of the organization, this process varies widely. Some data warehouses may overwrite existing information with cumulative information; updating extracted data is frequently done on a daily, weekly, or monthly basis. Other data warehouses (or even other parts of the same data warehouse) may add new data in an historical form at regular intervals—for example, hourly. To understand this, consider a data warehouse that is required to maintain sales records of the last year. This data warehouse overwrites any data older than a year with newer data. However, the entry of data for any one year window is made in a historical manner. The timing and scope to replace or append are strategic design choices dependent on the time available and the business needs. More complex systems can maintain a history and audit trail of all changes to the data loaded in the data warehouse.

As the load phase interacts with a database, the constraints defined in the database schema — as well as in triggers activated upon data load — apply (for example, uniqueness, referential integrity, mandatory fields), which also contribute to the overall data quality performance of the ETL process.

  • For example, a financial institution might have information on a customer in several departments and each department might have that customer’s information listed in a different way. The membership department might list the customer by name, whereas the accounting department might list the customer by number. ETL can bundle all of these data elements and consolidate them into a uniform presentation, such as for storing in a database or data warehouse.
  • Another way that companies use ETL is to move information to another application permanently. For instance, the new application might use another database vendor and most likely a very different database schema. ETL can be used to transform the data into a format suitable for the new application to use.

Real-life ETL cycle

The typical real-life ETL cycle consists of the following execution steps:

  1. Cycle initiation
  2. Build reference data
  3. Extract (from sources)
  4. Validate
  5. Transform (clean, apply business rules, check for data integrity, create aggregates or disaggregates)
  6. Stage (load into staging tables, if used)
  7. Audit reports (for example, on compliance with business rules. Also, in case of failure, helps to diagnose/repair)
  8. Publish (to target tables)
  9. Archive
  10. Clean up

Challenges

ETL processes can involve considerable complexity, and significant operational problems can occur with improperly designed ETL systems.

The range of data values or data quality in an operational system may exceed the expectations of designers at the time validation and transformation rules are specified. Data profiling of a source during data analysis can identify the data conditions that must be managed by transform rules specifications. This leads to an amendment of validation rules explicitly and implicitly implemented in the ETL process.

Data warehouses are typically assembled from a variety of data sources with different formats and purposes. As such, ETL is a key process to bring all the data together in a standard, homogeneous environment.

Design analysts should establish the scalability of an ETL system across the lifetime of its usage. This includes understanding the volumes of data that must be processed within service level agreements. The time available to extract from source systems may change, which may mean the same amount of data may have to be processed in less time. Some ETL systems have to scale to process terabytes of data to update data warehouses with tens of terabytes of data. Increasing volumes of data may require designs that can scale from daily batch to multiple-day micro batch to integration with message queues or real-time change-data capture for continuous transformation and update.

Performance

ETL vendors benchmark their record-systems at multiple TB (terabytes) per hour (or ~1 GB per second) using powerful servers with multiple CPUs, multiple hard drives, multiple gigabit-network connections, and lots of memory. The fastest ETL record is currently held by Syncsort,[1] Vertica and HP at 5.4TB in under an hour, which is more than twice as fast as the earlier record held by Microsoft and Unisys.

In real life, the slowest part of an ETL process usually occurs in the database load phase. Databases may perform slowly because they have to take care of concurrency, integrity maintenance, and indices. Thus, for better performance, it may make sense to employ:

  • Direct Path Extract method or bulk unload whenever is possible (instead of querying the database) to reduce the load on source system while getting high speed extract
  • Most of the transformation processing outside of the database
  • Bulk load operations whenever possible.

Still, even using bulk operations, database access is usually the bottleneck in the ETL process. Some common methods used to increase performance are:

  • Partition tables (and indices). Try to keep partitions similar in size (watch for null values that can skew the partitioning).
  • Do all validation in the ETL layer before the load. Disable integrity checking (disable constraint …) in the target database tables during the load.
  • Disable triggers (disable trigger …) in the target database tables during the load. Simulate their effect as a separate step.
  • Generate IDs in the ETL layer (not in the database).
  • Drop the indices (on a table or partition) before the load – and recreate them after the load (SQL: drop index …; create index …).
  • Use parallel bulk load when possible — works well when the table is partitioned or there are no indices. Note: attempt to do parallel loads into the same table (partition) usually causes locks — if not on the data rows, then on indices.
  • If a requirement exists to do insertions, updates, or deletions, find out which rows should be processed in which way in the ETL layer, and then process these three operations in the database separately. You often can do bulk load for inserts, but updates and deletes commonly go through an API (using SQL).

Whether to do certain operations in the database or outside may involve a trade-off. For example, removing duplicates using distinct may be slow in the database; thus, it makes sense to do it outside. On the other side, if using distinct significantly (x100) decreases the number of rows to be extracted, then it makes sense to remove duplications as early as possible in the database before unloading data.

A common source of problems in ETL is a big number of dependencies among ETL jobs. For example, job “B” cannot start while job “A” is not finished. One can usually achieve better performance by visualizing all processes on a graph, and trying to reduce the graph making maximum use of parallelism, and making “chains” of consecutive processing as short as possible. Again, partitioning of big tables and of their indices can really help.

Another common issue occurs when the data are spread among several databases, and processing is done in those databases sequentially. Sometimes database replication may be involved as a method of copying data between databases – and this can significantly slow down the whole process. The common solution is to reduce the processing graph to only three layers:

  • Sources
  • Central ETL layer
  • Targets

This allows processing to take maximum advantage of parallel processing. For example, if you need to load data into two databases, you can run the loads in parallel (instead of loading into 1st – and then replicating into the 2nd).

Sometimes processing must take place sequentially. For example, dimensional (reference) data are needed before one can get and validate the rows for main “fact” tables.

Parallel processing

A recent development in ETL software is the implementation of parallel processing. This has enabled a number of methods to improve overall performance of ETL processes when dealing with large volumes of data.

ETL applications implement three main types of parallelism:

  • Data: By splitting a single sequential file into smaller data files to provide parallel access.
  • Pipeline: Allowing the simultaneous running of several components on the same data stream. For example: looking up a value on record 1 at the same time as adding two fields on record 2.
  • Component: The simultaneous running of multiple processes on different data streams in the same job, for example, sorting one input file while removing duplicates on another file.

All three types of parallelism usually operate combined in a single job.

An additional difficulty comes with making sure that the data being uploaded is relatively consistent. Because multiple source databases may have different update cycles (some may be updated every few minutes, while others may take days or weeks), an ETL system may be required to hold back certain data until all sources are synchronized. Likewise, where a warehouse may have to be reconciled to the contents in a source system or with the general ledger, establishing synchronization and reconciliation points becomes necessary.

Rerunnability, recoverability

Data warehousing procedures usually subdivide a big ETL process into smaller pieces running sequentially or in parallel. To keep track of data flows, it makes sense to tag each data row with “row_id”, and tag each piece of the process with “run_id”. In case of a failure, having these IDs help to roll back and rerun the failed piece.

Best practice also calls for checkpoints, which are states when certain phases of the process are completed. Once at a checkpoint, it is a good idea to write everything to disk, clean out some temporary files, log the state, and so on.

Virtual ETL

As of 2010 data virtualization had begun to advance ETL processing. The application of data virtualization to ETL allowed solving the most common ETL tasks of data migration and application integration for multiple dispersed data sources. So-called Virtual ETL operates with the abstracted representation of the objects or entities gathered from the variety of relational, semi-structured and unstructured data sources. ETL tools can leverage object-oriented modeling and work with entities’ representations persistently stored in a centrally located hub-and-spoke architecture. Such a collection that contains representations of the entities or objects gathered from the data sources for ETL processing is called a metadata repository and it can reside in memory[2] or be made persistent. By using a persistent metadata repository, ETL tools can transition from one-time projects to persistent middleware, performing data harmonization and data profiling consistently and in near-real time.[citation needed]

Dealing with keys

Keys are some of the most important objects in all relational databases, as they tie everything together. A primary key is a column that identifies a given entity, where a foreign key is a column in another table that refers a primary key. These keys can also be made of several columns, in which case they are composite keys. In many cases the primary key is an auto generated integer that has no meaning for the business entity being represented, but solely exists for the purpose of the relational database – commonly referred to as a surrogate key.

As there is usually more than one data source being loaded into the warehouse, the keys are an important concern to be addressed.
Your customers might be represented in several data sources, and in one their SSN (Social Security Number) might be the primary key, their phone number in another and a surrogate in the third. All of the customers information needs to be consolidated into one dimension table.

A recommended way to deal with the concern is to add a warehouse surrogate key, which is used as a foreign key from the fact table.[3]

Usually updates occur to a dimension’s source data, which obviously must be reflected in the data warehouse.
If the primary key of the source data is required for reporting, the dimension already contains that piece of information for each row. If the source data uses a surrogate key, the warehouse must keep track of it even though it is never used in queries or reports.

That is done by creating a lookup table that contains the warehouse surrogate key and the originating key.[4] This way the dimension is not polluted with surrogates from various source systems, while the ability to update is preserved.

The lookup table is used in different ways depending on the nature of the source data. There are 5 types to consider,[5] where three selected ones are included here:
Type 1:
– The dimension row is simply updated to match the current state of the source system. The warehouse does not capture history. The lookup table is used to identify the dimension row to update or overwrite.
Type 2:
– A new dimension row is added with the new state of the source system. A new surrogate key is assigned. Source key is no longer unique in the lookup table.
Fully logged:
– A new dimension row is added with the new state of the source system, while the previous dimension row is updated to reflect it is no longer active and record time of deactivation.

Tools

Programmers can set up ETL processes using almost any programming language, but building such processes from scratch can become complex. Increasingly, companies are buying ETL tools to help in the creation of ETL processes.[6]

By using an established ETL framework, one may increase one’s chances of ending up with better connectivity and scalability.[citation needed] A good ETL tool must be able to communicate with the many different relational databases and read the various file formats used throughout an organization. ETL tools have started to migrate into Enterprise Application Integration, or even Enterprise Service Bus, systems that now cover much more than just the extraction, transformation, and loading of data. Many ETL vendors now have data profiling, data quality, and metadata capabilities. A common use case for ETL tools include converting CSV files to formats readable by relational databases. A typical translation of millions of records is facilitated by ETL tools that enable users to input csv-like data feeds/files and import it into a database with as little code as possible.

ETL Tools are typically used by a broad range of professionals – from students in computer science looking to quickly import large data sets to database architects in charge of company account management, ETL Tools have become a convenient tool that can be relied on to get maximum performance. ETL tools in most cases contain a GUI that helps users conveniently transform data as opposed to writing large programs to parse files and modify data types—which ETL tools facilitate as much as possible.[citation needed]

Commercial Tools

Commercially available ETL tools include:

  • Informatica PowerCenter
  • IBM Datastage
  • Ab Initio
  • Microstrategy
  • Oracle Data Integrator (ODI)
  • Microsoft SQL Server Integration Services (SSIS)
  • Pentaho Data Integration (or Kettle)
  • Talend

See also

References

  1. “New ETL World Record: 5.4 TB Loaded in Under 1 Hour – Syncsort”
  2. Virtual ETL
  3. (Kimball, The Data Warehouse Lifecycle Toolkit, p 332)
  4. Golfarelli/Rizzi, Data Warehouse Design, p 291
  5. Golfarelli/Rizzi, Data Warehouse Design, p 291
  6. ETL poll produces unexpected results

{{ source }}

Gestion de projet

La gestion de projet est une démarche visant à organiser de bout en bout le bon déroulement d’un projet. Lorsque la gestion de projet porte sur un ensemble de projets concourant à un même objectif, on parle de gestion de programme.

Le management de projet est un management qui se caractérise par1 :

Enjeux de la gestion de projet

On appelle projet un ensemble finalisé d’activités et d’actions entreprises dans le but de répondre à un besoin défini dans des délais fixés et dans la limite de l’enveloppe budgétaire allouée. Contrairement aux opérations, qui sont des processus répétitifs, l’essence d’un projet est d’être innovant et unique2.

En pratique, “le projet est tourné vers l’objectif final, il doit être adaptable à des modifications fréquentes, mais maîtrisé et planifié. Donc toute modification doit rester planifiée. Et notamment, le projet doit rester dynamique et équilibrer continuellement les contraintes techniques, de coût et de délai.” 3.

La gestion de projet est une action temporaire avec un début et une fin, qui mobilise des ressources identifiées (humaines, matérielles, équipements, matières premières, informationnelles et financières) durant sa réalisation, qui possède un coût et fait donc l’objet d’une budgétisation de moyens et d’un bilan indépendant de celui de l’entreprise.

Les résultats attendus du projet sont appelés fournitures ou « livrables ».

Un projet, dès qu’il est suffisamment complexe et a des enjeux importants, consiste en un ensemble d’actions visant un résultat défini, connu et mesurable. Le projet est limité dans le temps et comporte toujours une notion de nouveauté et de changement.

On peut distinguer :

  • des projets-ouvrage dont le résultat est unique (un pont, un logiciel),
  • et des projets-produit (un nouveau modèle de voiture, une nouvelle boisson) dont l’objectif est la mise au point d’un ou d’une gamme de produit(s) ou service(s), qui sera diffusé à plus ou moins grande échelle.

Un projet peut aussi consister en une opération de rationalisation interne complexe, par exemple la mise en phase du fonctionnement de deux entreprises après leur fusion, voire de deux états comme après la réunification allemande.

Le projet est un objectif extraordinaire (au sens littéral du mot) qui combine cinq aspects :

  • Fonctionnel : réponse à un besoin
  • Technique : respect des spécifications et des contraintes de mise en œuvre
  • Organisationnel : respect d’un mode de fonctionnement (rôles, fonctions, culture, résistance au changement) de la structure cible
  • Délais : respect des échéances (planning)
  • Coûts : respect du budget

Ou : SMARTE (Spécifique, Mesurable, Atteignable, Réaliste (Respect des ressources), Temporel, Éthique)

Outre les objectifs mentionnés ci-haut, le projet verra à couvrir les besoins de l’ensemble des différentes directions composants une organisation juridique, marketing, informatique, technique, formation des personnels, organisation, logistique, communication, etc …

Le projet peut également faire partie d’un ensemble plus complexe, souvent appelé programme. Un programme est un regroupement de projets connexes ou apparentés dont la gestion est coordonnée afin d’obtenir des avantages, des bénéfices et une maîtrise du suivi, qui ne seraient pas possibles en traitant les projets individuellement4.

La gestion de programme est utilisée afin de coordonner, arrimer, concilier et faire le suivi pour que les projets ainsi regroupés puissent conserver leur contribution stratégique

Il y a quelques standards de la gestion de projet. On peut par exemple citer le PMBOK (Project Management Body Of Knowledge), le PRINCE2 (PRojects IN Controlled Environments), l’ICB (International project management association Competence Baseline), et le standard international ISO 21500.

Démarches de gestion de projet

Un projet doit être une réponse pour rencontrer des objectifs précis et mesurables. Pour ce faire la première étape consiste à définir les spécifications ou les caractéristiques techniques nécessaires pour le succès du projet. Dans un deuxième temps, ce projet peut être décomposé en lots ou en sous-projets ou encore en chantiers, afin d’obtenir des sous-ensembles dont la complexité est plus facilement maîtrisable et qui sont rattachés aux caractéristiques du produit à réaliser dans le projet. Le découpage d’un projet en sous-ensembles maîtrisables est essentiel à la conduite du projet et donc à son bon aboutissement et à sa réussite. Le découpage du projet permet également de procéder plus facilement à sa planification. La conduite du projet est, en règle générale, confiée à un directeur de projet ou un coordinateur de projet, ou encore à un chef de projet. Ce responsable du projet rend compte à un comité de pilotage.

Démarche en 5 phases

En ce qui concerne l’aspect psychosocial de la gestion d’une équipe projet, Maders5 distingue cinq phases successives :

  • L’étape d’observation correspond à la rencontre des membres d’une équipe projet.
  • L’étape de cohésion doit permettre de constituer une équipe soudée.
  • L’étape de différenciation permet de tirer parti des différences entre les membres de l’équipe.
  • L’étape d’organisation utilise les techniques traditionnelles de la gestion de projet pour formaliser la gestion des ressources, planifier et contrôler le risque.
  • L’étape de production décrit le fonctionnement effectif de l’équipe projet. C’est à ce niveau que les différentes théories du management et du leadership sont le plus pertinentes.

Par ailleurs, une sixième phase, dite post-project review, est également recommandée6 notamment en ce qui concerne les projets de conception de produits7.

Démarche de jalonnement

L’approche par étapes (« jalons » voir Jalonnement) est un acte de direction, qui permet de bien structurer le projet dans le temps, en y apportant de nombreuses garanties pour le maître d’œuvre : sa progression est calendairement mieux suivie.

Les jalons permettent de faire le point sur le projet et de n’engager la phase suivante que si tout va bien. Les décisions actées lors de cette revue de changement de phase sont des éléments stables sur lesquelles peut être bâtie la suite du projet. Le jalonnement se préoccupe moins du contenu de chaque phase, que de l’appréciation de son résultat, où le client (ou maître d’ouvrage) est amené à se prononcer.

  • Phase préliminaire : la réflexion sur l’intérêt du projet en lui-même, en termes d’opportunité stratégique, suivant la manière dont se présente l’avenir.
  • Jalon de lancement du projet : on décide (au niveau « politique ») qu’il y a lieu de lancer un projet spécifique, et on y consacre un chef de projet, une équipe, des moyens, un responsable et un budget.
  • Phase d’expression du besoin : la définition de ce que l’on attend (les fonctions attendues), le périmètre, ce sur quoi on va évaluer le projet, ce qui est important et ce qui l’est moins.
  • Jalon de validation du besoin : le client valide l’expression de ses besoins (ainsi les évolutions dans l’approche des besoins pourront être tracées et justifieront d’éventuels ajustements du plan projet), ce sont les bases sur lesquelles le projet va être bâti.
  • Phase de faisabilité : l’étude de ce qui est techniquement et économiquement faisable. Consultation des maîtres d’œuvres possibles, comparaison des propositions techniques et financières des réalisateurs possibles.
  • Jalon du choix de la solution : signature du contrat qui précise ce qui sera fait et la manière de le faire.
  • Phase de conception : le maître d’œuvre coordonne les travaux sur le “produit papier”, pour préciser ce qui doit être fait jusqu’au dernier boulon.
  • Jalon de lancement du chantier (éventuel) : quand le “produit papier” est suffisamment défini, on peut faire le point avant de lancer les travaux de réalisation.
  • Phase de réalisation : le chantier est lancé, les travaux avancent pour transférer le “produit papier” dans le réel.
  • Phase de vérification (qui peut commencer très tôt, sur le “produit papier”) : sur le produit réel ou sur le produit papier, on vérifie (ou on calcule) que les caractéristiques attendues sont bien au rendez-vous (avec les écarts éventuels, qu’il faut alors gérer).
  • Jalon de qualification : après vérification, la définition de référence du produit est la bonne et ne sera plus modifiée (du moins, pas aussi facilement).
  • Jalon de livraison (et recette) encore appelée acceptation : on remet le produit entre les mains du client, qui en devient propriétaire (et peut émettre des réserves sur les écarts constatés). C’est la fin du projet proprement dit.
  • Phase d’exploitation, qui commence le plus souvent par la levée des réserves, et voit la fin de la relation contractuelle.

Quelques remarques complémentaires :

  1. Les noms peuvent être très variables d’une culture à l’autre.
  2. Les phases et jalons sont parfois entremêlés, à chaque fois il faut un peu préparer les travaux de la phase suivante, solder ce qui n’était pas terminé lors de la phase précédente, voire corriger ce qui a été jugé insatisfaisant.
  3. Il y a bien sûr des adaptations suivant qu’il s’agit de monter un pont suspendu, un opéra… Par exemple, pour un tour-opérateur, il s’agit d’une prestation de service, dont le client consomme le produit au fur et à mesure de sa production.

Démarche de cycle en V

Articles détaillés : Cycle de développement et Cycle en V.

Une méthode communément employée afin de conduire un projet à son terme en respectant les impératifs de qualité, coût et délai est le découpage du projet en phases. Chaque phase est accompagnée d’une fin d’étape destinée à formaliser la validation de la phase écoulée avant de passer à la phase suivante. Les phases de la partie montante doivent renvoyer de l’information sur les phases en vis-à-vis lorsque des défauts sont détectés.

Démarche de découpage en tâches

Une autre manière (complémentaire) d’aborder le découpage d’un projet en sous-ensembles élémentaires consiste à découper le projet en sous-ensembles d’activité à fonction simple : les tâches.

Chaque tâche est caractérisée par des matières premières qui lui sont nécessaires : ce sont les objets entrants ou préalables (un document, une spécification, une machine mise à disposition, une norme, un opérateur formé et opérationnel, un jeu d’essai, etc.) et elle fournit un ou plusieurs produits résultats, ce sont les objets sortants ou livrables (un logiciel, une plaquette publicitaire, un support de cours de formation, une fiche technique, etc.). Les objets entrants peuvent être déjà à disposition ou bien sont les objets sortants d’une autre tâche destinée à les produire. Les objets sortants peuvent être réemployés par une autre tâche.

Cette méthode (menée par exemple par interviews des différents acteurs impliqués) permet de mettre en évidence les tâches préparatoires et de matérialiser les dépendances entre tâches (par exemple pour formaliser un réseau PERT).

Démarche de découpage en activités WBS

Une 3e approche, connue sous le nom de méthode WBS (Work Breakdown Structure), procède à un découpage statique (analytique) en activités (on retrouve ici une notion voisine de celle de tâches) avec des entrées et des résultats identifiés ainsi qu’une responsabilité confiée à une personne nommée, et ceci jusqu’au niveau de décomposition optimal nécessaire pour :

  • maîtriser la durée d’une activité,
  • connaître les ressources requises,
  • connaître le coût d’une activité.

Démarche par motif de conception

La gestion de projet est un art difficile dans lequel le chef de projet doit improviser au mieux. Aussi, pour diminuer les risques ou maintenir l’entropie du projet à un niveau raisonnable, l’expérience met en évidence des grands principes. Alan Davis a répertorié 201 principes8 qui s’appliquent aux projets logiciels.

Par ailleurs, James O. Coplien offre un aspect du phénomène de Gestion de Projet centré sur les pratiques9. Une pratique est une mise en application formelle d’un principe qui est comparable à un motif de conception utilisé en développement logiciel. En ce sens, la méthode Extreme programming propose elle aussi des pratiques telles que :

Ces pratiques viennent fournir des guides autour du découpage organisationnel choisi. Selon9, tout comme les Design Patterns logiciels peuvent être liés entre eux, les Design Patterns Organisationnels sont organisés entre eux sous la forme d’un graphe et ainsi un langage organisationnel. Ces motifs correspondent alors à des token à la disposition du Chef de projet qui sont comparables aux Gammes du musicien. Ce langage permet de choisir l’organisation (le motif) qu’il est possible d’intégrer dans l’équipe-projet.

Ce choix restreint s’explique par un phénomène similaire à la culture d’entreprise. En entreprise, le changement est la chose la plus difficile à gérer. L’entreprise en a besoin, les individus la rejettent. Bien que ce rejet s’explique par le principe de plaisir (qui est un principe d’économie d’énergie opinion méritant plus d’explications), on constatera que la gamme la plus agréable pour les personnes qui composent cette équipe consiste à réaliser les transitions les plus simples possibles.

Ainsi, tout comme il faut peu de lignes de code pour passer du Singleton au Design Pattern Factory, le passage de la pratique programmation en binôme nécessite peu d’effort pour obtenir la pratique Appropriation collective du code (le code appartient à tout le monde).

Approfondissement des étapes

Étape d’étude préliminaire (ou préalable dite aussi de faisabilité ou encore d’opportunité)

À ce stade, le but est de déterminer les objectifs du projet c’est-à-dire de définir ce qui sera inclus dans les objectifs du projet.

L’objectif de la gestion de projet doit être précisé de façon claire, chiffrée et datée. Le résultat doit être conforme à des normes de qualité et de performances prédéfinies, pour le moindre coût et dans le meilleur délai possible.

D’une part, on estime si les bénéfices attendus seront en proportion des investissements engagés et du coût prévisionnel du projet. Pour de nombreux projets, on détermine ainsi le retour sur investissement escompté (ou plus exactement : payback). Il faut toutefois noter que tous les projets ne visent pas forcément à atteindre un profit financier : on peut lancer un projet dans le but d’améliorer le service aux usagers d’une administration, ou pour améliorer le climat social d’une entreprise — dans ces cas, le retour sur investissement n’est pas nécessairement quantitatif.

D’autre part, l’étude de faisabilité détermine également si l’organisation est bien en mesure de mener le projet à son terme. On cherche en particulier à savoir si elle dispose des compétences, des ressources et des fonds nécessaires.

On analyse :

  • les risques de faire : quelles sont les difficultés auxquelles il faut s’attendre dans le déroulement du projet et les moyens de les prévenir,
  • et les risques de ne pas faire : quels sont les enjeux pour l’entreprise ou l’organisme si le projet n’était pas lancé et mené à terme.

Le projet n’est véritablement lancé que si cette première phase est concluante.

Étape de lancement ou initialisation

Cette phase d’initialisation est l’occasion de définir :

  • l’organisation du projet, c’est-à-dire :
  • le planning des tâches à réaliser avec leur ordonnancement, leur durée, leur affectation de ressources et les moyens techniques nécessaires, les différents jalons (Diagramme de Gantt, PERT),
  • l’environnement technique éventuel à préparer,
  • le budget du projet à engager,
  • les moyens de contrôler les résultats.

Étape d’étude générale et étude détaillée (ou spécifications)

Article détaillé : spécification (informatique).

Le but de cette phase est de concevoir ou de spécifier ce qui doit être réalisé ou fabriqué pour atteindre l’objectif (on rédige éventuellement un cahier des charges). Ces études associent la maîtrise d’ouvrage et la maîtrise d’œuvre.

On parle parfois d’expression de besoins ou de spécifications générales lorsque ces livrables sont « fonctionnels » et exprimés par les utilisateurs, et on réserve alors le vocable de spécifications (ou spécifications détaillées) à des documents plus techniques, ou en tout cas qui détaillent plus le fonctionnement interne du logiciel (dans le cas d’un projet informatique par exemple) attendu.

Étape de recherche et détermination de solutions pour le gestionnaire de projet

Cette phase consiste à étudier différentes solutions ou architectures techniques et fonctionnelles en fonction de contraintes de compétences, d’équipement, de délais ainsi que des aspects financiers et de commercialisation. Les choix doivent être ensuite validés par la réalisation de maquettes ou de prototypes et éventuellement la mise sur un marché test. Les écarts mesurés permettent de rectifier les choix.

Dans les projets informatiques, cette phase prend en compte les préoccupations d’urbanisation et d’architecture.

Lors d’un choix de solution existante sur le marché (cas des progiciels notamment), cette phase s’articule autour d’un appel d’offres.

Étape de réalisation et contrôle ou fabrication

C’est lors de cette phase que le projet est réalisé ou fabriqué, c’est-à-dire que les tâches permettant de mettre en œuvre le nouveau produit, bien ou service, sont réalisées. Dans les projets informatiques, c’est cette phase qui permet la construction du logiciel.
Pour contrôler l’avancement de ces tâches et le respect des délais on utilise des outils de gestion de projet notamment des logiciels qui permettent, en cas de retard ou dépassement des délais, de planifier à nouveau la suite du projet.

Dans cette phase sont également réalisés les tests : test unitaire, test d’intégration, test de performance.

Étape d’analyse des recettes

Dès la mise à disposition ou la réception du livrable, il est nécessaire de procéder à des vérifications de manière à contrôler la conformité du résultat fabriqué avec la commande qui avait été passée lors des spécifications. Les contrôles s’effectuent sous forme de tests rigoureux à partir des cahiers de tests qui ont été préparés.

À l’issue de la phase de recette est signé un procès-verbal de réception définitive.

Selon la complexité du projet, des séquences de vérification globale peuvent s’avérer nécessaires.

Lorsqu’il a été fait appel à une sous-traitance, la fin de la recette marque une étape importante car elle déclenche la période de garantie juridique pendant laquelle le demandeur peut se retourner contre son prestataire.

Étape de diffusion ou déploiement

Le produit est mis à disposition du marché ou des utilisateurs, c’est ici qu’entre en action la politique de communication et d’une manière plus générale ce qu’on désigne par l’accompagnement du changement.

Étape de suivi des performances et de la qualité

Les outils de suivi ont été établis dès la préparation du projet, en même temps qu’ont été définis les objectifs de performance et de qualité.

Post-project review ou PPR

Il existe trois principaux avantages à la revue après-projet. Premièrement, l’apprentissage d’après les précédents projets peut aider à se prémunir de la répétition d’erreurs déjà commises10. Autre avantage, la dissémination des leçons apprises est importante et le PPR représente une autre méthode complémentaire, avec ses propres avantages10, aux bases de données et aux rotations du personnel. Enfin, les PPR participent à l’amélioration continue de l’entreprise11.

De nombreux facteurs intervenant dans la mise en œuvre du PPR vont influencer son efficacité, notamment en ce qui concerne le partage de connaissance. Il a été notamment relevé7 que le timing, les participants choisis, le lieu, la présence d’un modérateur, la durée, le sujet discuté, les actions prises pour stimuler la génération de connaissance, la documentation utilisée et les méthodes de dissémination des connaissances acquises pouvaient positivement influencer l’effet des post-project reviews.

Processus de déroulement et pilotage du projet

Le déroulement d’un projet comprend généralement les différentes phases ou processus suivants12:

  • Lancement du projet;
  • Mise en place de l’infrastructure du projet (organisation, développement) et des outils de suivi (tableau de bord, planning, revues de projet, etc.);
  • Réalisation du projet (études, fabrication, etc.);
  • Contrôle / Surveillance;
  • Clôture du projet.

Dès le lancement du projet il est indispensable de mettre en place les différents outils (tableau de bord, gestion des risques, planning, revue de projet, etc.) permettant de piloter le projet tout au long de sa durée de vie, afin d’en assurer le succès ou de préconiser son éventuel abandon.

Planning du projet

Le planning est un outil permettant de suivre le déroulement du projet, de prioriser l’affectation des ressources humaines & financières et d’anticiper d’éventuelles mesures permettant de respecter les différents jalons13, notamment par l’analyse du chemin critique, des chemins sous critiques et des ressources disponibles.

Gestion des risques

L’établissement d’un tableau de bord synthétique des risques du projet est utilisé pour catégoriser les niveaux de risque, suivre les évolutions de niveau de risque et les éventuels nouveaux risques apparus lors de la réalisation du projet afin de prioriser les actions à mener pour la mitigation des risques14, c’est une aide à la prise de décision du chef de projet.

Problèmes courants en gestion de projet

budget planning et chemins critiques

Parmi les problèmes souvent rencontrés en gestion de projet, figurent les dépassements de délais et de budget. Selon une étude du Gartner Group, seulement 16 % des projets respectent les délais et les budgets15 et 75 % des projets aux États-Unis sont considérés comme des échecs par ceux qui sont responsables de leur lancement15. Les causes d’échec sont multiples : cadrage ou spécifications incomplètes ou imprécises, sous-estimation des charges et des délais, des difficultés techniques imprévues, des manques de ressources, de coordination, de l’effet green light où chaque sous-projet donne son feu vert alors que globalement cela ne fonctionne pas. La Loi de Hofstadter énonce qu’« un projet prend toujours plus de temps qu’on ne le croit, même en prenant en compte la loi de Hofstadter.»16.

Il ne faut absolument pas oublier l’aspect humain et communication. Les gens du groupe doivent adhérer à l’objectif du projet et s’y raccrocher tout le long du projet, pour ne pas perdre le focus. De plus, il est nécessaire de communiquer, sous diverses formes, aux diverses étapes du projet, même les gens indirectement concernés.

La vigie du projet

Le Directeur de projet ou le chef de projet sont par nature responsables de la réussite du projet, c’est-à-dire de l’atteinte des objectifs dans le planning et le budget annoncés. De ce fait, il leur est difficile d’être à la fois “dehors” et “dedans”, d’avoir la distance nécessaire à une vision totalement objective de l’avancement du projet dans son ensemble.

Pour accompagner le directeur de projet ou le chef de projet dans la réussite de son projet, une nouvelle fonction a été progressivement développée d’abord au Canada : la “vigie du projet”.

Son rôle :

  • valider l’ensemble des outils de suivi et de reporting du projet
  • valider la gouvernance du projet sur proposition du directeur de projet ou du chef de projet et en assurer une coanimation avec le Directeur de projet ou le chef de projet
  • s’assurer de la cohérence des points de vue des acteurs, sponsors et utilisateurs
  • régulièrement vérifier la bonne cohésion de l’équipe projet
  • valide le plan de communication autour du projet
  • accompagner le Directeur de projet ou le Chef de projet dans une relation non hiérarchique pour l’aider à identifier les points critiques, trouver les solutions et mener les actions nécessaires.

Comparaison des modèles

Parmi les différents modèles de maturité en gestion des projets, nous retrouvons certaines caractéristiques communes :

  • Définition des échelles de maturité (5 niveaux pour la plupart d’entre eux)
  • Rapprochement des concepts issus du PMBOK avec les niveaux de maturité décrits par le CMMI.
  • Regroupement des processus par domaines (à ces processus correspondent des meilleures pratiques à mettre en œuvre pour prétendre passer au niveau de maturité suivant)
  • L’évolution vers un niveau n+1 n’est possible qu’à condition d’avoir rempli tous les objectifs de niveau n.

 

Notes et références

  1. ↑ (fr) Gilles Garel, Le management de projet, collections repères, La découverte, Paris, 2003, (ISBN 9782707140753)
  2. ↑ (fr) Cours de gestion de projet [archive] en licence Creative Commons
  3. ↑ Michel Nekourouh, Les 100 du Management de Projet (les 100 Règles d’or, Astuces, Conseils & « Best Practices »), collection cahiers des performances, 3e édition (ISBN 978-2953436532)
  4. ↑ The Standard for program management, Project Management Institute inc, (PMI), 2006, page 4 [archive]
  5. ↑ (fr) Henri-Pierre Maders, Manager une équipe projet, troisième édition, Eyrolles, Paris, 2003, (ISBN 2-7081-2456-0)
  6. ↑ Project Management Institute (2000), A guide to the project management body of knowledge, Project Management Institute, PA, USA.
  7. ↑ a et b Koners, U., Goffin, K. (2007), Learning from post-project reviews : A cross-case analysis, Journal of Product Innovation Management, vol. 24 : 242-258 (article disponible ici [archive]).
  8. ↑ (en) Alan M. DAVIS, 201 Principles of Software Development, McGraw-Hill, New York-USA, 1995 (ISBN 0-07-015840-1)
  9. ↑ a et b (en) James O. Coplien, Neil B. Harrison, Organizational Patterns of Agile Software Development, Prentice Hall (July 16, 2004), (ISBN 0131467409)
  10. ↑ a et b Ayas, K. (1997), Integrating corporate learning with project management. International Journal of Production Economics, 51, 59–67.
  11. ↑ Prahalad, C.K. and Hamel, G. (1990), The core competence of the corporation. Harvard Business Review, 68(3), 79–92.
  12. ↑ (fr) Guide du corpus des connaissances en management de projet (Guide PMBOK®) – ISBN 978-1933890654
  13. ↑ PLANIFICATION ET SUIVI D’UN PROJET – Guide méthodologique – Centre national de la recherche scientifique Direction des systèmes d’information – 18 juin 2001 [archive]
  14. ↑ Gestion des risques d’un projet – Les Techniques de l’Ingénieur – Référence SE2040 – Date de publication : 10 oct. 2008 – Alain DESROCHES [archive]
  15. ↑ a et b (en) Cité par itarchitect [archive]
  16. ↑ (en) cmg.org [archive]

 

Voir aussi

Articles connexes

Liens externes

Bibliographie

  • (fr) AFITEP ouvrage collectif Dictionnaire du management de projet, quatrième édition, Afnor, Paris, 2000, (ISBN 2-12-484341-9)

Histoire des codes secrets. De l’Égypte des pharaons à l’ordinateur quantique

Histoire des codes secrets. De l’Égypte des pharaons à l’ordinateur quantique

L’Histoire des codes secrets : De l’Égypte des pharaons à l’ordinateur quantique est un livre écrit par Simon Singh (titre original en anglais : The code Book) publié pour la première fois en 1999. Le livre se décompose en 8 parties chacune passant en revue l’évolution de la cryptographie des pharaons, passant par Marie Stuart reine d’Écosse et la machine Enigma, jusqu’à l’ordinateur quantique.

Sommaire

Exercices

Le livre permet grâce à 10 exercices de mettre en application les techniques vues dans le livre. D’une difficulté croissante, les premiers se résolvent en quelques heures alors que les derniers sont d’un niveau quasi-professionnel. Le concours mis en place à la première édition du livre sorti en 1999 avait pour récompense 10 000 livres sterling. Le 7 octobre 2000, les solutions furent trouvées après plus d’un an de recherche.

Critiques

D’après Sciences & Avenir, le livre « se lit comme un polar. C’est aussi une magistrale vulgarisation des techniques de chiffrement et de déchiffrement »1.

D’après France Culture, le livre a le mérite d’attirer l’attention sur l’enjeu actuel de respect de la vie privée2.

Chapitres

  • Chapitre 1: Le chiffre de Marie, reine d’Écosse
  • Chapitre 2: le chiffre indéchiffrable
  • Chapitre 3: La mécanisation du codage
  • Chapitre 4: A l’attaque d’Enigma
  • Chapitre 5: La barrière de la langue
  • Chapitre 6: Alice et Bernard s’affichent en public
  • Chapitre 7: Pretty Good Privacy
  • Chapitre 8: Saut quantique dans le futur

Annexes

  • Annexe A: Premier paragraphe de A Void
  • Annexe B: Quelques conseils élémentaires sur l’analyse de fréquence
  • Annexe C: Le code dit de la Bible
  • Annexe D: Le chiffre Pigpen (L’enclos des cochons)
  • Annexe E: Le chiffre de Playfair
  • Annexe F: Le chiffre ADFGVX
  • Annexe G: Pourquoi il ne faut pas utiliser deux fois un chiffre à clef jetable
  • Annexe H: Solutions des mots croisés
  • Annexe I: Quelques exercices pour le lecteur intéressé
  • Annexe J: Les mathématiques du système RSA

Notes et références

Voir aussi

Article connexe

Liens externes

{{ source }}