プロセスマイニング入門(3)プロセスマイニングが必要とされるビジネス環境

Introduction to Process Mining (3) Business environments which make process mining
indispensable English follows Japanese. Before proofread.

今回は、プロセスマイニングが重要、かつ不可欠となっていく、ビジネスを取り巻く環境変化について解説します。

まず、社会全体の大きなトレンドとして挙げたい環境変化が2つあります。サービス化による「サービスエコノミー」、そして、デジタル化による「デジタルエコノミー」です。

サービスエコノミー – サービス化

これまでの経済発展を支えてきたのは、おもに製造業による、様々な製品の大量生産・大量販売です。優れた製品を製造単価を引き下げるために大量に作り、主に卸、小売チャネルを通じて効率よく販売していく。

メーカーにとって重要なのは、高品質な製品を開発、製造し、出荷することであり、消費者に届けるプロセスは流通業に任せる。また、購入された製品は個々の家庭、消費者が文字通り自由に利用し、消費するもの。故障時の対応はもちろん行ったものの、製品の利用・消費、そして廃棄プロセスには基本的にメーカーは関わりませんでした。

しかし、製造業以外の様々なサービス産業が勃興し発展するなかで、また製造業同士の競争も激化するなかで、製品に関連したサービス(製品の設置や、保険、利用法法を教えるコンテンツを提供するサービスなど)を併せて提供する企業が増えてきました。すなわち、モノとしての製品単体ではなく、様々なサービスなども含む「トータルソリューション」を提供するアプローチです。(ちなみに、トータルソリューションのことをマーケティングでは「ホールプロダクト(全体としてのプロダクト)と呼びます)

さらに、製品を売り切るのではなく、利用価値を継続的に提供する。つまり、月額、あるいは年額料金で貸し出す形態も近年増加してきています。いわゆる「サブスクリプション型」です。

このような、対価を得る対象が、製品からサービスに移行する変化はあらゆる業界起きています。「サービス経済」の進展ですね。

さて、サービスの特徴としては以下の4つがあります。

・無形性:サービスは物理的な存在ではありません。

・同時性:サービスは生産するそばから消費されます。例えば、理容店・美容室での散髪やスタイリングというサービスは顧客に対してリアルタイムで提供されるものです。

・変動性: 人的な要素が多い場合、サービス提供のクオリティにはばらつきが発生します。人によって良いサービスが提供されたり、逆にひどいサービスが提供されてしまう場合があります。

・消滅性:無形性、同時性の特徴と関係しますが、サービスは提供されると同時に消えていくものです。

これらの特徴のうち、プロセスに関係があるのは、同時性、変動性です。サービスとは、リアルタイムで提供され、提供されるごとにサービスの価値、クオリティに高低が生じる。したがって、サービス提供側としては、プロセスを適切に管理することが極めて重要になります。

デジタルエコノミー – デジタル化

デジタル化の端緒は、1995年のインターネット商用解禁でしょう。以降、インターネットを活用した様々なサービスが次々と誕生しました。また、消費者も、PCだけでなく、携帯電話を通じて手軽にインターネットが活用できるようになり、現在は生活のあらゆる局面においてデジタル化された機器、サービスの利用が不可欠ともなっています。したがって、デジタル化の進展が、前項のサービス化を大きく促進することになったとも言えます。

こうしたデジタルエコノミーにおいて、やはり価値を提供するプロセスの適切な管理が企業側の大きな課題となっています。オンラインの各種サービスは、しばしば実体を持つ製品の移動や消費がを伴うことがあるとしても、本質的に、前項で示した4つの特徴を備えた「サービス」です。したがって、特に同時性と変動性という難しい状況におけるクオリティコントロールが不可欠になってくるというわけです。

では、サービス化進展によるサービスエコノミー、またデジタル化の進展によるデジタルエコノミーという大きなマクロトレンドにおいて、企業が対応すべき要因について考えてみます。

まず、外部環境についていえば、「顧客経験(Customer Experience)」、「運用の優秀性(Operational Excellence)」の2つがキーワードとして挙げられます。

顧客経験 Customer Experience

顧客経験はサービス化に深い関連があります。メーカーにとって以前は、いい製品を作って売ればそれで終わり。購入客が自社製品をどのように利用・消費するかにはほとんど注意を払っていませんでした。

ところが、製品に付随する様々なサービスを提供するようになり、またサブスクリプションでの利用が増えていく。また自社サイトを通じて直接販売するようになると、見込み客の購入行動や、製品の利用・商品から廃棄に至るプロセスを最適化することも重要になってきています。

製品自体の仕様を適切に設計するだけでなく、当該製品にまつわる顧客の購入から廃棄に至るまでの顧客経験を最高のものとする「顧客経験の設計」が必要になってきたというわけです。

運用の優秀性 オペレーショナル・エクセレンス

優れた顧客経験全体を考える重要性が高まる中で、競合優位性を確立するための基本戦略として重要性が高まってきたのが「運用の優秀性(Operational Excellence)」です。

競争優位性確立のための基本戦略としては、「プロダクトリーダーシップ」、「カスタマーインティマシー」、そして「オペレーショナルエクセレンス」の3つが挙げられます。各企業は自社経営資源も踏まえ、重点を置く戦略方向を決定してきたのですが、製品そのものでの差別化がますます難しくなりつつあるため、「プロダクトリーダーシップ」の戦略の有効性は低下しています。また、顧客との親密な関係形成を狙う「カスタマーインティマシー」も、デジタル化の進展で差別化のポイントとしては十分な効力を発揮できなくなっています。

しかし、オペレーショナルエクセレンス、すなわち「運用の優秀性」は、プロセスの適切な管理に大きく関わりますが、製品、サービスの高度化・複雑化しているために一筋縄ではいかず、うまくやれる企業、やれない企業の差がつきやすい。したがって、競合優位性の確立のためには、運用の優位性に取り組むことが必要になっているのです。しかも、すぐれた運用ができるようになれば、それは顧客満足向上にもつながり、「カスタマーインティマシー」にも好ましい影響を与えるのです。

では次に内部環境について考えましょう。企業・組織の内部環境の変化は多くはデジタル化がもたらしていますが、「プロセスの非可視化」と「デジタルの足跡」の2つのキーワードを挙げましょう。

プロセス非可視化

企業においてデジタル化、すなわち、各種業務のシステム化が進展したのは1990年代のERPの登場が端緒と言えるでしょう。前述したように1995年のインターネット商用化解禁、いわゆる「インターネット革命」以降は、インターネット技術に基づく業務システム化が進展しました。さらに、Salesforce.comに代表される、莫大な初期開発コストを回避できるSaaSが次々と登場し、大企業から中小企業まで多くの企業の業務がシステム化されていっています。

問題は、業務のシステム化によって、どのように業務が行われているかが傍目からはわからなくなったことです。オフィスに全従業員が出社していて、紙と電話・FAXで業務遂行していたころは、感覚的とはいえ誰がどのように仕事を進めているかを知ることができました。

ところが、今や電話はほとんど鳴らず、各従業員はPCに向かって黙々と仕事を行っています。テレワークともなれば、もはや業務遂行状況を目で見ることはできません。

つまり、業務のデジタル化によって、多くの業務が見えないものになり、マネジメントサイドとしては、適切な進捗コントロールがとても難しくなったのです。

デジタルの足跡

一方、業務の多くがデジタル化、システム化されたことで、システム上の操作状況をデータとしてそっくり記録可能です。「デジタルの足跡」と呼ばれますが、ERPやCRMなどのアプリケーションであれ、Excel、Powerpointなどのオフィスソフトであれ、個々のユーザーのアプリ操作履歴を捕捉・記録、分析することで、見えなくなった業務プロセスを再び「見える化」できる。

すなわち、業務システムなどから抽出したイベントログをベースに業務プロセスを自動的に再現し、継続的な業務プロセス改善に役立つ「プロセスマイニング」が、今の、またこれからの企業・組織経営に不可欠な分析手法として浮上してききた環境変化があります。

business environments which make process mining indispensable

Introduction to Process Mining (3) Business environments which make process mining

In this article, I will explain the changes in the business environment in which process mining is becoming more important and indispensable.

First, there are two environmental changes that I would like to list as major trends in society as a whole. It is a “service economy” through servitization, and a “digital economy” through digitalization.

Service Economy – Servitization

Economic development to date has been supported by the mass production and sale of a variety of products, mainly by the manufacturing industry. Excellent products are made in large quantities to lower the unit cost of production and are sold efficiently, mainly through wholesale and retail channels.

The important thing for manufacturers is to develop, manufacture and ship quality products, leaving the process of delivering them to consumers to the distributors. In addition, the products purchased are literally free to be used and consumed by individual households and consumers. The manufacturer was basically not involved in the use and consumption of the product and the disposal process, although it did take care of the breakdown, of course.

However, with the rise and development of various service industries outside of the manufacturing industry, as well as increased competition among manufacturers, more and more companies are offering a combination of services related to their products (e.g., installation of products, insurance, services that provide content that teaches how to use them, etc.). In other words, our approach is to provide a “total solution” that includes a variety of services, rather than a single product as an object. (Incidentally, total solution is called “whole product” in marketing.

Furthermore, it does not sell out the product, but continues to provide value for use. In other words, the form of lending for a monthly or even annual fee has been increasing in recent years. It is a so-called “subscription type”.

This shift in the quid pro quo from product to service is happening in every industry. That’s the progress of the “service economy.

Now, there are four features of the service

Intangibility:

The service is not a physical entity.

Simultaneity:

Services are consumed as soon as they are produced. For example, the services of hair cutting and styling at barber shops and beauty salons are provided to customers in real time.

Variance in Service quality:

The quality of service delivery may vary especially when there are many human factors involved. Some people may provide good service and vice versa, others may provide terrible service.

Extinguishability:

this is related to the characteristics of intangibility and simultaneity, but services disappear as soon as they are provided.

Of these characteristics, the ones that are relevant to the process are simultaneity and variability. A service is provided in real time, and each time it is provided, there is a high or low level of value or quality of service. Therefore, as a service provider, it is crucial to manage the process properly.

The Digital Economy – Digitalization

The beginning of digitalization was the lifting of the commercial ban on the Internet in 1995. Since then, a variety of services utilizing the Internet have been born one after another. Consumers can now easily use the Internet through mobile phones as well as PCs, making the use of digital devices and services in all aspects of their lives indispensable. Therefore, it can be said that the progress of digitalization has greatly facilitated the transition to services mentioned in the previous section.

In this digital economy, proper management of the processes that deliver value has become a major challenge for companies. A variety of online services are essentially “services” with the four characteristics presented in the previous section, even if they often involve the movement and consumption of products with substance. Therefore, quality control is essential, especially in the difficult situation of simultaneity and variability.

Now, let’s look at the factors that companies need to respond to in the larger macro trend of the service economy due to the increasing use of services and the digital economy due to the increasing use of digital technology.

In terms of the external environment, customer experience and operational excellence are two keywords.

Customer Experience

Customer experience is deeply related to servitization. For manufacturers, it used to be that if you made a good product and sold it, that was the end of it. Little attention was paid to how purchasers would use and consume their products.

However, they began to offer a variety of services to accompany their products, and the number of subscriptions increased. As you sell directly through your own website, it is also important to optimize the buying behavior of your prospects and the process of using and disposing of your products.

It has become necessary not only to design the specifications of the product itself properly, but also to “design the customer experience” to ensure that the customer experience associated with the product, from purchase to disposal, is the best it can be.

Operational Excellence

As the overall customer experience becomes increasingly important to consider, Operational Excellence has become increasingly important as a fundamental strategy for establishing a competitive advantage.

There are three basic strategies for establishing a competitive advantage: product leadership, customer intimacy, and operational excellence. Each company has decided on a strategic direction to focus on based on its own management resources, but the effectiveness of the “product leadership” strategy has declined as it has become increasingly difficult to differentiate the product itself. In addition, customer intimacy, which aims to form an intimate relationship with customers, is no longer sufficiently effective as a point of differentiation due to the progress of digitalization.

However, operational excellence, or “operational excellence,” has a great deal to do with the proper management of processes, but due to the increasing sophistication and complexity of products and services, it is difficult to follow a straight line, and it is easy to see the difference between companies that can do it well and those that cannot. Therefore, in order to establish a competitive advantage, it is necessary to address the operational advantage. What’s more, being able to perform well can lead to increased customer satisfaction and have a positive impact on “customer intimacy”.

Now let’s consider the internal environment. While much of the change in the internal environment of companies and organizations is due to digitalization, let’s list two key words: “process de-visualization” and “digital footprint.

Intangible process

It can be said that the development of digitalization, or the systematization of various types of business operations in companies, began with the emergence of ERP in the 1990s. As mentioned above, after the lifting of the ban on the commercialization of the Internet in 1995, the so-called “Internet Revolution”, business systemization based on Internet technology has progressed. In addition, SaaS, which can avoid huge initial development costs, such as Salesforce.com, has appeared one after another, and the operations of many companies, from large corporations to small and medium-sized enterprises, are being systematized.

The problem is that the systematization of the business has made it impossible to see how the business is done from the outside. When all the employees were in the office and working by paper, phone and fax, it was possible to know who was doing what and how they were doing it, albeit in a sensory way.

Now, however, the phones rarely ring, and employees are working in silence at their computers. When it comes to telecommuting, you can no longer visually see how your work is being done.

In other words, the digitalization of operations has made many of them invisible, making it very difficult for management to properly control progress.

Digital footprint

On the other hand, since most of the business operations have been digitized and systematized, it is possible to record the status of operations on the system exactly as data. It’s called a “digital footprint,” but by capturing, recording, and analyzing each user’s application operation history, whether it’s an application such as ERP or CRM, or office software such as Excel or Powerpoint, it’s possible to “visualize” business processes that have become invisible again.

In other words, process mining, which automatically reproduces business processes based on event logs extracted from business systems, and is useful for continuous business process improvement, has emerged as an indispensable analysis method for corporate and organizational management today and in the future.

business environments which make process mining indispensable

プロセスマイニング実践入門 – Udemy

introduction to process mining in practice udemy

INTRODUCTION TO PROCESS MINING IN PRACTICE – e-learning course on Udemy
English follows Japanese. Before proofread.

プロセスマイニングを実際に導入する際に、知っておきたい基本知識が学べるeラーニングコースをUdemyを通じてまもなく提供開始いたします。2020年5月上旬を予定しております。

受講対象者:

  • 企業や組織でプロセスマイニングの導入を担当されている方
  • プロセスマイニングの導入を支援されているコンサルタントの方
  • プロセスマイニングのエキスパートを目指したい方

コースの特徴:

プロセスマイニングの理論的側面ではなく、ビジネスへの応用を成功に導くために役立つ内容になっています。プロセスマイニングの原理を含む包括的なeラーニングコースは、プロセスマイニングのゴッドファーザー、Wil van der Aalst教授がCourseraを通じて2014年から提供されています。

しかし、特定のプロセスマイニングツールに依拠せず、また、業務プロセス改善を目的とするビジネス応用に重点を置いた実践的なeラーニングコースは、日本だけでなく世界でもまだ提供されていないことから、世界初のプロセスマイニングの実践入門講座となります。

なお、英語版も後日リリース予定です。

コース受講メリット

  • プロセスマイニングの基本的な知識が習得できます
  • プロセスマイニングの導入意義を上司など、社内関係者に効果的に伝えることができるようになります(導入担当者)
  • 見込み客に対して、プロセスマイニングの価値を説得力のある形で伝えることができるようになります(プロセスマイニングコンサルタント)

カリキュラム

  • プロセスマイニングとは?
  • プロセスマイニングの歴史
  • プロセスマイニングを必要とするビジネス環境
  • プロセスマイニングの利点・期待できるリターン
  • 分析可能なプロセス
  • 導入事例
  • プロセスマイニングと関連ソリューション(ETL, RPA, BPMs, DWH/Datalake)
  • イベントログとは?
  • プロセスマイニングアルゴリズムの原理
  • プロセスマイニングの4つのアプローチ
  • プロセス発見
  • 適合性検査
  • プロセス強化
  • 運用サポート
  • プロセスマイニングプロジェクトのマネジメント
  • タスクマイニング
  • プロセスマイニング従事者に必要なスキルセット
  • プロセスマイニングツール


INTRODUCTION TO PROCESS MINING IN PRACTICE – e-learning course on Udemy

Aalstn e-learning course through Udemy that will teach you the basic knowledge you need to know when implementing process mining, scheduled for early May 2020.

Target participants

  • Person in charge of implementing process mining in a company or organization
  • Consultants who are helping to implement process mining
  • Those who want to become an expert in process mining

Course Features

It’s not about the theoretical aspects of process mining, but more about the content that will help you successfully apply it to your business process improvement.

A comprehensive e-learning course containing process mining principles has been offered since 2014 through Coursera by the godfather of process mining, Professor Wil van der Aalst.

However, this is the world’s first practical introductory course to process mining, as it does not rely on a specific process mining tool and is not yet offered in Japan or the rest of the world as a practical e-learning course focused on business applications to improve business processes.

An English version will be released at a later date.

Benefits for participants

  • You will learn the basics of process mining from practical aspect.
  • You will be able to effectively communicate the necessity of the introduction of process mining to your supervisors and other internal stakeholders(person in charge).
  • You’ll be able to convincingly communicate the value of process mining to your prospects (Process Mining Consultant).

Curriculum

  • What is process mining?
  • History of Process Mining
  • Business environments that make process mining indispensable
  • Benefits and Expected Returns of Process Mining
  • Processes to be analyzed
  • Use cases
  • Process Mining and Related Solutions (ETL, RPA, BPMs, DWH/Datalake)
  • What is the event log?
  • Principles of Process Mining Algorithms
  • Four Approaches to Process Mining
  • process discovery
  • conformance check
  • process enhancement
  • Operational Support
  • How to manage a process mining project
  • Task Mining (Robotic Process Mining)
  • Skill sets required for process mining practitioners
  • process mining tool

  • – What is process mining – History of process mining – Business environments that make process mining indispensable – Benefits and expected returns of process mining – Target processes to be analyzed – Use cases – Process mining and related solutions(ETL, RPA, BPMs, DWH/Datalake) – What is event log – Principle of process mining algorithm – Four approaches of process mining – Process discovery – Conformance checking – Process enhancement – Operational support – How to manage a process mining project – Basics of data preparation – Task mining/Robotic process mining – Necessary skill set for a process miner – Process mining tools

RPD – Robotic Process Discovery – ロボティック・プロセス・ディスカバリとは?

robot working on pc

What is RPD – Robotic Process Discovery?
English follows Japanese. Before proofread.

ロボティック・プロセス・ディスカバリ(以下、RPD)は、基本的には「タスクマイニング」と同義です。すなわち、ユーザーが自らのPC上で、エクセル、パワーポイントやブラウザーなどのアプリケーションやファイルを操作した履歴である「PC操作ログ」を収集し、分析対象とします。

「タスクマイニング」は、米ITアドバイザリ企業Gartnerが、『Gartner, Market Guide for Process Mining, Marc Kerremans, 17 Jun 2019』において初めて提唱した表現です。すでに、世界各国、また日本でも、「タスクマイニング」は、PC操作ログに基づく「業務可視化」のソリューション全般を含む一般名称として認知されつつあります。

一方、RPDは、2018年に、Marlon Dumas(Tartu大学教授)、Marcello La Rosa(Melbourne大学教授)らがPC操作ログ分析の研究を通じて、ひとつの方法論として提唱したものです。

タスクマイニングの場合、PC操作ログの分析という大きな枠組みを意味するだけですが、RPDでは、主に「RPAによるタスクの自動化」を目的とした、PC操作ログの基本的な分析手順が示されています。

以下、RPDではどのような手順でPC操作ログの分析を進めるのか、概要をご紹介します。原典は末尾に示しています。私の独自の理解で多少簡略化している点をあらかじめご了承ください。

なお、上記研究者たちは、最近、RPD(Robotic Process Discovery)ではなく、RPM(Robotic Process Mining)と呼び始めているようですが、当記事ではRPDでいきます。


1 PC操作ログの収集・蓄積

分析対象となるユーザーが使用する各PCにインストールされた「センサー(Javascriptの軽いプログラム)」が、ユーザーのアプリ起動、ファイルオープン、キーボードの押下、マウスのクリックなどの詳細なアクティビティを感知し、所定のサーバに送信、PC操作ログとして蓄積します。

なお、センサーが捕捉する詳細なアクティビティは、これ以上分解できない最小単位のものであるため、「アトミック・アクティビティ(原子的アクティビティ)」と言います。


2 データの抽出・ノイズフィルタリング

PC操作ログは、アトミック・アクティビティ(原子的アクティビティ)と呼ばれるように非常に詳細なものです。しかも、ユーザーの誤操作による修正アクティビティなど、分析対象とはなりえないノイズが大量に含まれています。

したがって、任意の条件(分析対象期間や分析対象PCなど)に基づいてPC操作ログデータを抽出したら、まずノイズを除去(フィルタリング)する作業を行う必要があります。また、同じアプリなのに記録されたデータ上の表記が若干異なっていると、異なるアプリとして処理されてしまうため、表記を統一したり、また文字化けを修正したりと、ノイズ除去以外に様々なデータ加工を行います。この作業は一般に「データ前処理(Data Preparetion)」と呼ばれています。


3 タスクセグメンテーション

RPDでの「セグメンテーション」は、PC操作ログの中から、なんらか一定の手順を踏んでいると想定されるひとまとまりのタスクを切り分けることを意味します。例えば、「ブラウザー画面に表示されている情報をコピーして、エクセルファイルにペーストする」、といった、なんらかの目的遂行のために連続したタスク、いわゆる「定型業務に関わるタスク」を抽出する作業がセグメンテーションです。

あらかじめ業務手順が作り込まれた業務システム(調達システムなど)と異なり、PC操作はユーザーの自由度が高く、PC操作ログはぱっと見、きままに様々なアプリやファイルを移動しているだけに見え、業務手順がはっきりしません。

そこで、ひとまとまりのタスクに関わるデータにのみをPC操作ログから切り出す、すなわち「タスクセグメンテーション」を行う必要があるわけです。


4 タスクシンプリフィケーション

セグメンテーションによって抽出された、データ転記のようなタスクにもまだ多少のノイズが含まれています。多くはユーザーの誤操作や、他のアプリでの並行操作などによるものですが、これらのノイズを除去してあげると、PC操作単位での手順が明確に把握できます。前述の例ですと次のような明確な手順がわかるフローが明らかになります。

エクセルファイルオープン(エクセル)⇒データ表示画面アクセス(ブラウザ)⇒データコピー(ブラウザ)⇒ペースト(エクセル)⇒データ表示画面アクセス(ブラウザ)⇒データコピー(ブラウザ)⇒ペースト(エクセル)・・・・

このように手順が明確に把握できるようにする仕上げ作業を「タスクシンプリフィケーション」と呼びます。


5 自動化候補タスク特定

分析対象としたPC操作ログデータからは、タスクセグメンテーションによって複数のタスクが切り出され、またタスクシンプリフィケーションによって、それぞれのタスクの流れを明確に把握することができました。

そこで、次には、これらのタスクのうち、どのタスクがRPAによる自動化に適しているか、また相応の効果を出せそうかを検討します。この段階では、候補タスクを実際に行っている現場の担当者にも詳しくヒアリングすることが望ましいでしょう。(現実には、タスクセグメンテーション、タスクシンプリフィケーションの段階でも、現場担当者の協力が得られると迅速に行うことができます)


6 自動化可能な手順発見

ここは、RPAによる自動化の範囲を決定する段階になります。前項で自動化に向いていると判明したタスクは、必ずしも初めから終わりまですべて自動化できるとは限りません。

そこで、さらに、自動化可能な手順を絞り込んでいきます。たとえば、前項で特定した自動化候補タスクの手順が、[A⇒B⇒C⇒D⇒E⇒F]だったとして、自動化するのは、[C⇒D⇒E⇒F]のみ(A⇒Bは現行のまま)、というような形での絞り込みになります。


7 自動化手順の仕様作成

自動化可能な手順が絞り込めたら、任意のRPAツールでタスクを自動実行させるための要求仕様を検討し、次項のプログラミングのための「基本設計書」を作成します。


8 RPAプログラミング

ここはRPAツール上での作業です。実際の自動化手順を組んでいきます。実際の環境でテストし、問題なく動くことが検証できたらRPAロボットの稼働開始です。

RPD – Robotic Process Discoveryの基本フロー

Basic flow of Robotic Process Discovery

以上、言葉で説明するだけではなかなかイメージが湧かないかもしれませんが、RPDのおおまかな手順をご説明いたしました。

RPDにせよ、タスクマイニングにせよ、個々のユーザーのPC操作単位での業務可視化を通じ、生産性向上を主な目的として、各種改善施策を展開することが主眼。具体的な改善施策は様々ですが、RPDは、特に、「タスク自動化」を基本目的とした分析手法であることをご理解いただければと思います。

また、RPD、またはタスクマイニングは、複数の部門をまたがる業務プロセスを可視化する「プロセスマイニング」と組み合わせて活用するときに最大の効果を発揮する点を強調しておきます。

[参考文献]

Robotic Process Mining: Vision and Challenges
Volodymyr Leno, Artem Polyvyanyy, Marlon Dumas, Marcello La
Rosa, Fabrizio Maria Maggi

Discovering Automatable Routines From User Interaction Logs
Antonio Bosco, Adriano Augusto, Marlon Dumas, Marcello La Rosa, and
Giancarlo Fortino

AI for Business Process Management From Process Mining to Automated Process Improvement
Marlon Dumas, University of Tartu Institute of Computer Science


What is RPD – Robotic Process Discovery?

Robotic Process Discovery (RPD) is essentially synonymous with “task mining”. That is, it collects and analyzes PC interaction Log, which is the history of the user’s operation of applications and files such as Excel, PowerPoint, and browsers on his or her own PC.

“Task mining” is an expression first proposed by US IT advisory firm Gartner in its report, “Gartner, Market Guide for Process Mining, Marc Kerremans, 17 Jun 2019”. The term “task mining” is already gaining fairly high recognition around the world and in Japan as a general name that includes all solutions for “business visualization” based on PC interaction logs.

“RPD”, on the other hand, is a methodology proposed by Marlon Dumas (Professor at Tartu University) and Marcello La Rosa (Professor at Melbourne University) in 2018 through their research on PC interaction log analysis.

In the case of task mining, it only connotes the big framework of PC interaction log analysis, but RPD shows the basic analysis procedure of PC interaction log mainly for the purpose of “automation of tasks by RPA”.

The following is an overview of how RPD proceeds to analyze the PC interaction log. The references are shown at the end.

Please note that this is a simplified version based on my original understanding. And it should also be noted that the above researchers have recently started to call it RPM (Robotic Process Mining) instead of RPD (Robotic Process Discovery), but I will use RPD in this article.

1 Collection and storage of PC interaction logs

The sensor (a light Javascript program) installed on each PC used by the user to be analyzed detects the user’s detailed activities such as launching applications, opening files, pressing the keyboard, clicking the mouse, etc., and sends the data to a designated server, where it is stored as a PC operation log.

The detailed activity captured by the sensor is called “atomic activity” because it is the smallest unit that cannot be decomposed any further.

2 Data Extraction and Noise Filtering

PC operation logs are very detailed, so called atomic activity. What’s more, there’s a lot of noise in there that can’t be analyzed, such as modified activities due to user error.

Therefore, after extracting PC interaction log data based on some conditions (target period, target PC, etc.), it is necessary to remove (filter) the noise first. In addition, if the notation on the recorded data is slightly different even though it is the same application, it will be processed as a different application, so we can unify the notation, correct garbled characters, and perform various data processing other than noise removal. This work is commonly referred to as “Data Preparation”.

3 Task Segmentation

In RPD, “segmentation” means to isolate a group of tasks from the PC operation log that are assumed to have followed a certain procedure. For example, “Copying and pasting information displayed on the browser screen into an Excel file” is a task to extract a series of tasks to accomplish some purpose, so-called “routine tasks”.

Unlike business systems (e.g., procurement systems) with pre-built business procedures, PC operation has a high degree of freedom for the user, and at a glance, PC operation logs look like they are just moving various applications and files at will, and business procedures are not clear.

Therefore, it is necessary to perform “task segmentation”, that is, to isolate only the data related to a single task from the PC operation log.

4 Task Simplification

The tasks extracted by the segmentation, such as data transcription, still contain some noise. Many of them are caused by user mistakes or parallel operation in other applications, but if you remove these noises, you can clearly understand the steps in each PC operation. The aforementioned example reveals a flow that reveals the following clear steps

Excel File Open (Excel) ⇒ Data Display Screen Access (Browser) ⇒ Data Copy (Browser) ⇒ Paste (Excel) ⇒ Data Display Screen Access (Browser) ⇒ Data Copy (Browser) ⇒ Paste (Excel)…

The finishing touches that make it possible to understand the procedure clearly are called “task simplification”.

5 Identification of candidate tasks which can be automated

From the PC interaction log data extracted for analysis, we were able to isolate multiple tasks through task segmentation and clearly understand the flow of each task through task simplification.

The next step is to consider which of these tasks are suitable for RPA automation and whether they are likely to produce a reasonable effect. At this stage, it is advisable to interview the person in charge in the field who is actually performing the candidate task in detail. (In reality, even the task segmentation and task-simplification stages can be done quickly with the help of field personnel.)

6 Automatable procedure discovery

This is the stage where the scope of automation with RPA is determined. The tasks identified in the previous section as being better suited for automation are not necessarily all automatable from beginning to end.

So, we will further narrow down the steps that can be automated. For example, if the procedure of the automation candidate task identified in the previous section is [A ⇒ B ⇒ C ⇒ D ⇒ E ⇒ F], then only [C ⇒ D ⇒ E ⇒ F] is to be automated (A ⇒ B remains the current one).

7 Create specifications for automation procedures

Once you have narrowed down the steps that can be automated, consider the requirements for the automatic execution of the task by any RPA tool and create a “basic design document” for the programming in the next section.

8 RPA programming

This is to be done on an RPA tool writing an actual automation procedure. After testing in the actual environment and verifying that it works without any problems, the RPA robot is ready to go live.


Although it may not be easy to get an image of the RPD just by explaining it in words, I have explained the general procedure of RPD.

Whateve you call it, RPD, RPM or task mining, the main focus is to develop various improvement measures with the main objective of improving productivity through visualization of operations at each PC. There are a variety of specific improvement measures, but we hope you understand that RPD is an analysis method with the basic purpose of “task automation” in particular.

It should also be emphasized that RPD, or task mining, is most effective when combined with “process mining”, which visualizes business processes across multiple departments.

[References]

Robotic Process Mining: Vision and Challenges
Volodymyr Leno, Artem Polyvyanyy, Marlon Dumas, Marcello La
Rosa, Fabrizio Maria Maggi

Discovering Automatable Routines From User Interaction Logs
Antonio Bosco, Adriano Augusto, Marlon Dumas, Marcello La Rosa, and
Giancarlo Fortino

AI for Business Process Management From Process Mining to Automated Process Improvement
Marlon Dumas, University of Tartu Institute of Computer Science


Process Mining in Action: Principles, Use Cases and Outlook

process mining in action

A latest book on process mining is available now.

プロセスマイニングの事例が豊富に掲載されている書籍が2020年3月に発刊されました。タイトルは、『Process Mining in Action, Principles, Use Cases and Outlook』です。邦訳はまだ出ていません。

本書は3部構成です。

Part 1 Principles and Value of Process Mining

プロセスマイニングの基本的な方法論やその価値が説明されています。プロセスマイニングをまだあまり理解されていない方はPart1から読むといいでしょう。

Part 2 Best Practice Use Case

11の企業の様々なプロセスに適用したプロセスマイニング導入事例が紹介されています。成功したポイントだけでなく、うまくいかなかった点なども併せて記述されています。様々な業界・業種の企業の具体的な取り組みを垣間見ることのできる貴重なコンテンツです。

 事例企業は以下の通り。

1 Siemens
2 Uber
3 BMW
4 Athenahealth
5 EDP Comercial
6 ABB
7 Bosch
8 Schukat
9 Siemens Healsthieers
10 Bayer
11 Telekom

Part 3 Outlook: Future of Process Mining

プロセスマイニングのゴッドファーザー、Wil van der Aalst教授の寄稿を含む、プロセスマイニングの今後の展望を語っています。

本書は、企業においてプロセスマイニング導入・活用に従事している実務家がそれぞれの実体験ベースで書いたコンテンツを編纂したものであり、プロセスマイニングの実務に携わる方には必読書だと言えるでしょう。

なお、理論的側面を包括的に理解したい方は、Wil van der Aalst教授の著書、『Process Mining: Data Science in Action』をお読みください!

プロセスマイニング分析の進め方– 標準手順 –

analysis image

Standard Procedure of Process Mining Analysis
English follows Japanese. Before proofread.

当記事では、プロセスマイニングツールを活用して、どのように対象プロセスの分析を行っていくのかについて、標準的な手順を解説します。

以下の点、あらかじめご留意ください。

・分析を行う流れは、本来直線的なものではありません。基本的には、様々な分析の切り口を行ったり来たりする繰り返し作業を通じて深めていくものです。とりわけ、大量、かつ複雑なイベントデータからの分析から、新たな知見を引き出そうとするプロセスマイニング分では試行錯誤が不可欠です。「こうやれば新たな知見が発見できる」という分析の必勝パターンは存在しません。

活用する分析ツールによって機能には違いがあります。また、機能に対する名称も異なります。当記事では一般的な表現を用いています。利用されているツール独自の表現については、機能的に類似なものに読み替えてください。

さて、基本的なプロセスマイニングの分析手順は次の通りです。

1 分析対象プロセスに関する統計数値の確認
2 バリアント分析
3 頻度分析
4 パフォーマンス分析
5 リワーク分析
6 問題点検討会開催
7 根本原因分析
8 改善施策の立案
9 改善プロセス作成/改善効果シミュレーション
10 レポート作成

それでは、各手順の分析内容を概説していきましょう。

なお、 プロセスマイニングツールには、データ前処理済の「イベントログデータ」がアップロードされ、分析項目の紐づけ(マッピング)も済んで、分析準備は完了しているところからの説明になります。

1 分析対象プロセスに関する統計数値の確認

プロセスマイニングツールの分析実行ボタンを押して分析スタートです。デフォルト画面はツールによって異なりますが、まずは分析対象プロセスに関して、以下のような基本的な統計数値が表示されている画面を確認します。データの概要を把握するためです。

  • 分析対象案件数(ケースID数)
  • 完了案件数・未完了案件数
  • 分析対象アクティビティ数(延べアクティビティ数)
  • 案件あたり平均/最多/最少アクティビティティ数
  • アクティビティ別発生件数
  • 分析対象期間(FROM: yyyy/mm/dd TO: yyyy/mm/dd)
  • 平均/最長/最短/中央/最頻度スループット(時間表示)
  • スループット分布(ヒストグラム)
  • スループット標準偏差

上記の数値を確認する際の一番の留意点は、「完了案件のみを分析するかどうか」の判断です。完了案件とは、分析対象期間内において、「開始アクティビティ」と「終了アクティビティ」の両方が含まれているものを意味します。

問題が実際のイベントログでは、期間前に開始アクティビティが始まっていたり、また、分析期間内に「終了アクティビティ」に到達していない案件が含まれています。これらの「未完了案件」をそのままにしておくと、スループットの算出に問題が生じます。

基本的にはフィルター機能を活用して、分析期間内に「開始アクティビティ」と「終了アクティビティ」の両方が含まれているものだけを分析対象とする設定をこの時点で行いましょう。(もちろん、分析目的によっては未完了案件を分析対象とすることもあります)

また、スループットについては、平均、最多、最少、中央、最頻度の数値だけでなく、ヒストグラムによる分布状況を確認しましょう。プロセスデータの場合、正規分布しているケースはほとんどありません。

また、山が複数存在する「多峰型」のヒストグラムの場合、同じプロセスではあっても、すべてのプロセスを経由する案件と、なんらかの条件で途中のプロセスを省略した簡易プロセスの案件がごっちゃになっている可能性があります。(これは、次のバリアント分析で明確に識別すべきポイントです)


2 バリアント分析

分析対象プロセスの流れは、ビジネスルールによる分岐(たとえば、ローンの申請結果に基づいて、その後の流れは、承認と非承認の2つの流れに分かれるなど)や、前工程への差戻しや、繰り返し業務、逸脱などのアクティビティが存在することによって複数のパターンが発生します。

つまり、開始アクティビティから終了アクティビティまでの経路には様々なバリエーションがあるということです。バリアント分析では、このバリエーションそれぞれを確認することを通じて、典型的な流れや、逸脱が含まれるパターンの発見を行います。

バリアント分析でまず着目するのは、最も案件数の多いプロセスパターンです。このプロセスを「ハッピープロセス」、または「ハッピーパス(経路)」と呼ぶ場合もありますが、処理案件数が多いからといって必ずしもそれが最も理想的なプロセスとは限りません。

そこで、プロセスオーナーやドメインエキスパート(現場担当者)に確認して、そもそも問題のない理想的なプロセス=ハッピープロセスが何かを確認します。

また、ビジネスルールなどによって、途中から流れが大きく分岐するプロセスパターンが複数存在する場合、それぞれのパターンごとにもハッピーパスが存在すると考えられます。

一方で、上記理想プロセスに照らして逸脱していると考えられるプロセスパターンを洗い出し、記録に残しておきます。これらは問題点として提起すべきものになります。

なお、逸脱プロセスの発見のためにさらに「コンフォーマンス分析」を行うことも有効ですが、これは標準ではなく応用分析と位置付けています。

3 頻度分析

プロセスモデル、すなわちプロセスの流れを示したフローチャートの表示画面において標準的に示されている数値が、プロセスに含まれる各アクティビティの処理件数や、あるアクティビティから別のアクティビティに流れた件数です。

これらの処理件数を細かく検証していくのが頻度分析です。着目ポイントとしては、もちろん処理件数の多い箇所です。処理件数が多いということはそれだけ、現場担当者の負荷が大きく、処理時間が長くなったり、案件が滞留するボトルネックが発生しやすい箇所になるからです。

4 パフォーマンス分析

パフォーマンス分析は、基本的に「時間」尺度の分析です。プロセスの開始アクティビティから終了アクティビティまでの総所要時間(トータルリードタイム)、すなわちスループット、および、各アクティビティの処理時間、あるアクティビティから別のアクティビティまでの移行時間=待ち時間などをつぶさに見て、時間がかかりすぎている非効率な箇所、待ち時間が長い「ボトルネック」を発見します。

パフォーマンス分析において重要なのは、時間が長い・短いを判断するための基準値を明確にしておくことです。たとえば、スループットの場合、平均、または中央スループットを基準にして、それよりも長いプロセスにおいては、「全体的に時間がかかりすぎている」という問題があるとみなします。

また、各アクティビティごとの処理時間や待ち時間についても、平均値または中央値を基準値として設定するか、また、本来、この程度の時間であるべきというKPI(Key Performance Indicator)の目標値に照らして問題点を抽出することが有効です。

5 リワーク分析

リワーク、すなわち繰り返し業務は少ないほうが好ましく、リワークが発生している箇所には、非効率な手順や、リワークを誘発しやすい問題が潜んでいる可能性があります。

リワークには、大きくは、あるアクティビティが繰り返し行われている場合と、複数のアクティビティの流れが繰り返されている場合の2つがあります。前者は単純なエラーや反復業務が含まれている可能性、また後者は「手戻り」が発生しているということですから、ここにもなんらかの原因が存在しています。

リワーク分析で浮き彫りになった問題個所もまた、次の「問題点抽出」のひとつとして根本原因追求を行うことになります。

6 問題点検討会開催

バリアント分析、頻度分析、パフォーマンス分析、リワーク分析を通じて抽出した問題点を列挙して、関係者による検討会を行います。

プロセスオーナー、およびドメインエキスパート(現場担当者)に、分析結果を示しつつ、以下のような問題と想定される箇所についての確認を行います。

  • 特定のアクテイビティやフローにおいて処理件数が多くなっている原因
  • スループットが基準値よりも長い(あるいは短い)プロセスとなる原因
  • 基準値よりも、アクティビティの処理時間や待ち時間が長い箇所が発生する原因
  • 標準的な手順には含まれていない逸脱手順、あるいは省略されている手順が発生している理由
  • リワークが発生している理由

プロセスオーナーやドメインエキスパートに確認した結果、逸脱手順と想定されたが現実には所定の手順であったとか、ある箇所において処理時間が長くなるのは現実に照らして問題がない、という判断になることもあるでしょう。

プロセスマイニング分析であぶりだされる問題は、あくまで現象としての問題ですから、それが本当に企業に悪影響を与える問題であるのか、また是正すべきなのか、また是正可能なのか、ということを判断するためには、現実のプロセスをよく理解している関係者へのヒアリングを通い、「解決すべき本当の問題」のみを残していくことが不可欠です。


7 根本原因分析

問題点の検討に続いて、根本原因を解明していくための深堀り分析を行います。プロセスマイニング分析においては、様々な属性によるクロス分析を通じて、問題の手がかりを探ります。

どのような属性による分析を行うべきかは対象プロセスによって異なりますが、一般的には以下のような属性分析が有効です。

  • サプライヤ別
  • 顧客(タイプ)別
  • 製品別
  • 資材別
  • 調達部門別
  • エリア別
  • 調達金額別
  • 受注金額別

たとえば、購買プロセスにおいては、どのサプライヤの場合に、あるいはどの資材調達の場合にリワークが発生しやすいのか、また、どのような条件においてビジネスルールが適用されるのか、そのビジネスルールは適切に運用されているのか、といった分析を行うことで根本原因に近づいていくことはできます。

ただ、最終的に現場担当者の手作業が非効率の原因となっているような場合、イベントログでは記録されていない業務であるため、データ分析だけでは真因に迫ることはできません。

したがって、根本原因分析においては、現場担当者のヒアリングやワークショップ、観察調査などを併用して、データ有無にこだわらず、根本原因を探るためのあらゆる手段を講じることが必要になるでしょう。

8 改善施策の立案

解決すべき本当の問題、およびその問題の根本原因が明らかにできたら、いよいよ改善施策を立案を行います。改善施策案の原案は、たとえばプロセスアナリストやビジネスコンサルタントが作成しますが、どの改善施策が有効であるのか、また最優先で取り組むべきなのかは、プロセスオーナーやドメインエキスパートを含む検討会で決定すべき事項です。

なお、どのようなプロセス改善を行うかは当然ながらケースバイケースですが、標準的なアプローチとしては以下のようなものがあります。

  • 業務手順の組み直し
  • 問題アクティビティの除去
  • アクティビティの統合
  • 複数アクティビティの並行処理化
  • 人員配置の適正化
  • 自動化

9 改善プロセス作成・効果シミュレーション

取り組むべき改善施策が立案されたら、その改善施策が実施された場合の「改善プロセス」を作成し、可能な範囲でシミュレーションを行います。現行プロセス(as isプロセス)と改善プロセス(to beプロセス)でどの程度、処理件数が軽減できたり、所要時間やコストが削減できるかを検証するわけです。

なお、改善プロセスの作成は、モデリングツールを用いて「BPMN準拠」のフローを作成すべきでしょう。プロセスマイニングツールのなかには、BPMN準拠のモデリング機能が含まれているものがあります。含まれていない場合は、別途モデリングツールを準備することになります。

10 レポート作成

これまでの分析内容や、改善施策案に基づく改善プロセス、およびその効果検証シミュレーションの結果を取りまとめてレポートを作成します。レポートの一般的なタイトルは

「XXXプロセスのプロセスマイニング分析レポート – 問題点と解決策」

といったところです。

なお、分析プロジェクトの目的や状況によって、改善施策の立案の前の段階まで、すなわち問題点の抽出までのレポート作成になる場合もあるでしょう。


This describes standard procedures on how to analyze target processes using a process mining tool.

Please note the following points in advance.

  • The flow of analysis is not usually linear, but is basically deepened through iterative work of going back and forth between various aspects of analysis. In particular, trial and error is indispensable for process mining to extract new insights from analysis of large and complex event data. There is no victory pattern in the analysis that “you can discover new insights in this way”.
  • The features vary depending on the analysis tool used. Also, the names for the functions are different. This article uses general expressions. For the unique expression of the using tool, regard it with a functionally similar to the described one.

Now, the basic process mining analysis procedure is as follows.

1 Confirmation of statistical figures for the process to be analyzed

2 Variant analysis

3 Frequency analysis

4 Performance Analysis

5 Rework analysis

6 Problem evaluation meeting

7 Root-cause analysis

8 Planning improvement measures

9 Improved process model creation / effect simulation

10 Report making

Let’s outline the content of each step.

In addition, it is assumed that data pre-processed “event log data” is uploaded to the process mining tool, analysis items are linked (mapping), and analysis preparation is completed.

1 Confirmation of statistical figures for the process to be analyzed

Start the analysis by pressing the analysis execution button of the process mining tool. The default screen varies depending on the tool, but first check the screen showing the following basic statistical values ​​for the process to be analyzed. To get an overview of the data.

  • Number of Items to be analyzed (number of case IDs)
  • Number of completed projects / number of uncompleted projects
  • Number of activities to be analyzed (total number of activities)
  • Average / most / least number of activities per issue
  • Number of occurrences by activity
  • Analysis target period (From: yyyy/mm/dd To: yyyy/mm/dd)
  • Average / longest / shortest / central / most frequent throughput (time)
  • Throughput distribution (histogram)
  • Throughput standard deviation

The most important point to keep in mind when checking the above figures is whether to analyze only completed projects. A completed matter means one that includes both “start activity” and “end activity” within the analysis period.

In the event log where the problem is in fact, there are cases where the start activity has started before the period, and the case where the “end activity” has not been reached within the analysis period. Leaving these “uncompleted items” as they are will cause problems in calculating the throughput.

Basically, make use of the filter function and set the analysis target at this point only for those that include both “Start activity” and “End activity” within the analysis period. (Of course, depending on the purpose of analysis, incomplete projects may be analyzed.)

As for throughput, let’s check not only the average, maximum, minimum, center, and most frequent values, but also the distribution status using histograms. In the case of process data, there are almost no cases of normal distribution.

Also, in the case of a “multi-peak” histogram with multiple mountains, even if the process is the same, the case that goes through all processes and the case of a simple process in which the middle process is omitted under some conditions become jumbled. You may have (This is a point that should be clearly identified in the next variant analysis)

2 Variant analysis

The flow of the process to be analyzed can be divided by business rules (for example, the subsequent flow is divided into two flows of approval and non-approval based on the result of loan application), return to the previous process, and repetitive operations , Deviations and other activities trigger multiple patterns.

This means that there are various variations in the path from the start activity to the end activity. Variant analysis examines each of these variations to find typical flows and patterns that include deviations.

The first thing to look at in variant analysis is the process pattern with the largest number of issues. This process is sometimes referred to as a “happy process” or “happy path (route)”, but the large number of processed cases does not necessarily mean that it is the most ideal process.

Therefore, check with the process owner or domain expert (site staff) to confirm what is the ideal process without any problems = happy process.

Also, if there are multiple process patterns where the flow diverges in the middle due to business rules, etc., it is considered that a happy path exists for each pattern.

On the other hand, process patterns that are considered to deviate from the ideal process described above are identified and recorded. These are issues to raise.

Note that you can also use “conformance Checking” to find deviations. However, this functionality can be regarded as an advanced analysis, not standard.

3 Frequency analysis

The numerical value that is standardly shown in the process model, that is, the display screen of the flowchart that shows the process flow, is the number of processes of each activity included in the process and the number of processes that flowed from one activity to another activity.

Frequency analysis is a detailed examination of the number of cases processed. The point of interest is, of course, the location with a large number of processing cases. The large number of cases is that the load on the site staff is large, the processing time is long, and bottlenecks in which matter stays are likely to occur.

4 Performance Analysis

Performance analysis is essentially a “time” scale analysis. Looking at the total required time from the start activity to the end activity of the process, that is, the throughput, the processing time of each activity, the transition time from one activity to another activity = waiting time, etc. Find efficient locations and “bottlenecks” with long wait times.

It is important for performance analysis to have a clear reference value for determining whether time is long or short. For example, in the case of throughput, longer processes based on average or central throughput are considered to have the problem of “overall overall time”.

Also, for the processing time and waiting time for each activity, set the average value or the median value as the reference value, or compare it with the target value of the KPI (Key Performance Indicator), which should be about this time. It is effective to extract the problem.

5 Rework analysis

Rework, that is, less repetitive work is preferable, and where rework occurs, there may be inefficient procedures or problems that can easily trigger rework.

There are two main types of rework: when an activity is repeated, and when multiple activities are repeated. The former is likely to involve simple errors and repetitive tasks, and the latter is because “rework” has occurred, so there are some causes here as well.

The problem spots highlighted in the rework analysis will also be pursued as root causes as one of the next “problem extractions”.

6 Problem evaluation meeting

Issues enumerated through variant analysis, frequency analysis, performance analysis, and rework analysis are enumerated, and a stakeholder evaluation meeting should be held.

While showing the analysis results to the process owner and the domain expert (on-site staff), confirm the following problems and potential parts.

  • The cause of the large number of transactions for a specific activity or flow
  • The cause of the process that the throughput is longer (or shorter) than the reference value
  • Causes where the processing time or waiting time of the activity is longer than the reference value
  • Reason for occurrence of deviated or skipped procedure not included in standard procedure
  • Reason for reworks

As a result of checking with the process owner or domain expert, it was determined that the procedure was a departure procedure, but it was actually a predetermined procedure, or that a longer processing time at a certain place was not a problem in reality.

The problems that are revealed in the process mining analysis are phenomenal problems only, so it is necessary to determine whether they are problems that have a real negative effect on the company, should be corrected, or can be corrected. To do so, it is essential to leave only “real problems to be solved” through interviews with stakeholders who understand the real process well.

7 Root-cause analysis

After examining the issues, we will conduct a deep analysis to elucidate the root cause. In process mining analysis, we look for clues to problems through cross-analysis with various attributes.

Which attribute should be analyzed depends on the target process, but the following attribute analysis is generally effective.

  • By supplier
  • By customer (type)
  • By product
  • By material
  • By procurement department
  • By area
  • By purchase price
  • By Order price

For example, in the purchasing process, which supplier or material procurement is likely to cause rework, and under what conditions business rules are applied, the business rules are properly operated. Analysis can help you get closer to the root cause.

However, in the event that the manual work of the field staff ultimately causes inefficiency, it is a task that is not recorded in the event log, so the data analysis alone can not approach the true cause.

Therefore, in root cause analysis, it will be necessary to take all means to find the root cause, regardless of the presence or absence of data, in combination with interviews, workshops, observational surveys and the like of field staff.

8 Planning improvement measures

Once you have identified the real problem to be solved and the root cause of the problem, you can finally make improvements. The draft of the improvement plan is created by, for example, a process analyst or business consultant.Which improvement plan is effective and which should be given the highest priority is determined by a study group including process owners and domain experts. It is a matter to be done

Of course, what kind of process improvement should be done is case-by-case, but the following are standard approaches.

  • Reorganization of business procedures
  • Removal of problem activity
  • Activities integration
  • Parallel processing of multiple activities
  • Optimization of staffing
  • Automation

9 Improved process model creation and effect simulation

After the improvement measures to be taken are drafted, create an “improvement process” when the improvement measures are implemented, and simulate as much as possible. It examines how much the number of processes can be reduced, and how much time and cost can be reduced with the current process (as is process) and the improvement process (to be process).

When creating an improvement process, you should create a “BPMN compliant” flow using a modeling tool. Some process mining tools include BPMN-compliant modeling capabilities. If not, you will need to prepare a separate modeling tool.

10 Report making

A report is created that summarizes the results of analysis up to now, the improvement process based on improvement measures, and the results of the effect verification simulation. A common report title is

“Process Mining Analysis Report for XXX Process-Problems and Solutions”.

Depending on the purpose and situation of the analysis project, the report may be created up to the stage before the planning of the improvement measures, that is, until the problem is identified.

プロセスマイナーを目指すには?

businessperson

Required Knowledge to be a Process Miner
English follows Japanese. Before proofread.

プロセスマイニングに通暁したエキスパートを「プロセスマイナー」と呼びます。

マイナー(Miner)は、本来、炭鉱などで採掘を行う「鉱夫」のことを指します。プロセスマイニングは、プロセスに関わる大量データを採掘して「知見」を掘り出すこと。したがって、その専門家を「プロセスマイナー」と呼ぶのは納得でしょう。

さて、プロセスマイニング自体は、「分析手法」だと狭く定義することもできますが、業務プロセスの改革・改善プロジェクト、および継続的プロセス改善のための主軸となる方法論だと広く捉えれば、プロセスマイナーとして関わる領域は以下を含む幅広いものとなります。

  • 業務改革・改善プロジェクトとしてのトータルマネジメント
  • スコーピング(分析計画)の作成
  • 各種システムからのイベントログデータの抽出
  • データ前処理(クリーニング等)
  • プロセスマイニングツールの操作・分析ダッシュボードの作成
  • 根本原因分析と改善策の立案
  • 改善策の展開・定着
  • 改善策施行後の継続的モニタリング・改善体制の確立

もちろん、上記すべてを一個人が担うことは困難でしょう。現実には、データサイエンティスト、システム管理者、ツールオペレーター、ビジネスアナリスト、ビジネスコンサルタントなど、なんらかの肩書を持つ人々がチームを組んで取り組むことになります。

私は、プロセスマイナーとは、どのような肩書きであれ、業務プロセスに関わるデータ分析から知見を引き出し、改善につなげる知識や経験を有する人材だと考えています。

ですので、プロセスマイナーとして認められるためには、それぞれが得意なスキルを有しつつ、プロセスに関わる知識を幅広く習得していくことが必要と考えています。

では、以下にプロセスマイナーとして身に着けるべき知識を示します。

1 プロセスマイニングの基本知識

 プロセスマイニングとはそもそもどんな方法論なのか、イベントログデータからプロセスモデルを再現するアルゴリズムの基本的なアプローチはどんなものなのか、など、原理原則を理解しておくことが望ましいです。

これについては、プロセスマイニングのゴッドファーザー、Wil van der Aalst教授の著作を読めば大丈夫です。

プロセスマイニング Data Science in Action(日本語)

また、業務プロセス改善・改革のノウハウも含む、初心者向けの書籍として以下の拙著をお勧めします。

⇒ DXに必須 プロセスマイニング活用入門 ファクトベースの業務改善を実現する(白桃書房)

プロセスマイニングの基本知識は、プロセスマイニングに関わる全ての人の基本科目だと考えています。

2 ビジネスアナリシス

ビジネスアナリシスは、ビジネスの様々な側面について、データを収集し分析する包括的な方法論です。ビジネスアナリシスの主な落としどころは、現状をできる限り正確に把握し、またビジネス上の課題を明確に抑えることで、優れた戦略立案、実効性の高いシステム要件定義や組織改編などにつなげること。

分析手法としてプロセスマイニングを捉えると、ビジネスアナリシスに含まれるプロセスに特化した分析手法と位置付けることができます。現実のプロセスマイニングプロジェクト、あるいは業務改革・改善プロジェクトでは、イベントログデータの分析だけで十分ということはなく、周辺的な調査・分析や、根本原因のためのヒアリング、ワークショップなどを行うことも多いため、ビジネスアナリシスの知識を有しておくのがベターです。

⇒ BA(Business Analysis)とは?(IIBA Japan)

ビジネスアナリシスの知識は、ビジネスアナリストは当然ながら、データサイエンティストも持っておきたい知識です。

3 ビジネスプロセスマネジメント(BPM)

ビジネスプロセスマネジメント(BPM)とは、文字通り、ビジネスプロセスを適切にコントロールすることであり、その目的は、業務プロセスの継続的改善を通じた収益拡大、コスト削減、顧客満足度向上等にあります。

したがって、BPMでは、プロセスの開発から運営、変革までのサイクル全体を網羅する様々な考え方や手法が開発、体系化されています。プロセスマイニングは、BPMのそれぞれの局面において、データに基づく現状把握、改善施策のシミュレーション、そして運営サポートと様々な形での支援を行うことができます。

プロセスマイニングの究極の目的はプロセスの改革・改善ですから、BPMについての知識は非常に重要だといえます。

⇒ BPMとは(日本BPM協会)

ビジネスプロセスマネジメントの知識は、プロセスマイニングに関わるビジネスアナリスト、ビジネスコンサルタントの必須知識です。

4 データベース

プロセスマイニングツールの分析対象とするイベントログの抽出元のほとんどは、業務システム内のデータベースに蓄積されているトランザクションデータです。

システムによっては過去の操作履歴、取引履歴を一括ダウンロードできる機能が実装されていることもありますが、そうでない場合、データベースの構造分析を行い、分析に必要なデータ項目がどのテーブルに存在するのか、どのデータ項目をキーとして関連テーブルを接続し、どのような形でイベントログの必須三項目、すなわち案件ID(プロセスID)、アクティビティ、タイムスタンプを抽出すべきかを検討しなければなりません。

このためには、次に述べるERPなどの業務システムの理解もさることながら、データベース、とくにリレーショナルデータベースの成り立ちを最低限理解しておくことが求められます。

DBの基本知識は、プロセスマイニングに関わるデータサイエンティスト、IT管理者、ビジネスアナリストに必須です。

5 業務システム(ERP、CRM等)

プロセスマイニングの分析対象となることが多いプロセスは、P2P(Procure-to-Pay)、すなわち購買プロセス、およびO2C(Order-to-Cash)、すなわち受注プロセスですが、これらはしばしば、SAPやOracleなどのERPシステム上で行われています。

ERPは、企業活動全般をカバーする業務システムであるため、データベース構造も複雑ですし、機能も多岐に渡ります。したがって、データベースの基本知識に加えて、SAP、ORACLEなどのERPの基本的なアーキテクチャやDB構造、機能連関を理解しておくことでイベントログ抽出、前処理を円滑に進めることが可能となります。

ERPの知識は、プロセスマイニングに関わるデータサイエンティスト、IT管理者、ビジネスコンサルタントに必須です。

6 ETL & スクリプト(SQL、Pythonなど)

各種システムから抽出したデータ(トランザクションデータ)をそのままプロセスマイニングツールにアップロードすることはできません。プロセスマイニングツールで分析できる形式にデータを加工し、またノイズなどを除去してクリーンなファイルに仕上げる必要があります。

この工程を「データ前処理」と呼びますが、データ前処理に役立つツールが「ETL」です。私は、「KNIME」というオープンソースの利用を推奨しています。ただ、同等の機能を持つツールは他多数あり、自分に取って使いやすいものを採用していただければ結構です。なんにせよ、データ前処理を担当するのであれば、ETLツールの習得が有効です。

もちろん、エンジニアの方であれば、SQL、Python、Rなど得意なスクリプトでもデータ前処理は行えばよいと思います。ただ、ETLツールの場合、データ前処理の流れを「ワークフロー」、すなわち処理手順として視覚的に示すことができるため、関係者への説明がしやすいというメリットがあります。

なお、プロセスマイニングツール自体に、各種システムやDBにAPI接続、あるいはODBC接続し、データを抽出し、ある程度前処理が行えるコネクター機能を備えているものもあります。

しかし、システムがカスタマイズされていたり、文字化けやデータの抜け漏れなどの補正が必要な場合は、ETLツールなりスクリプトなりで別途加工する手間が生じます。

⇒ KNIME(ナイム)

ETL&スクリプトは、データサイエンティスト、IT管理者の必須知識・スキルです。

7 ツール操作

ツール操作方法は、プロセスマイニングツールそれぞれで相当異なりますので、操作することになったツールを使い倒して覚えるしかありません。ただ、高度な分析を行う場合、標準機能ではまかなえないことが多く、ダッシュボードをカスタマイズして、様々な図表を作成することが多くなります。この場合、BI設計と同じアプローチ(分析次元=ディメンション、および集計方法=メジャーの設定)や、SQLライクな式を組むことになりますので相応の学習と慣れが必要です。

ツール操作は、データサイエンティスト、またはビジネスアナリストによる習得を推奨します。

8 リーン・シックスシグマ

トヨタ生産システムを源流とする「リーン・シックスシグマ」は、ビジネスプロセスの改革・改善のための根本原因の究明や解決策の立案に役立つアプローチとして世界の多くの企業が導入しています。

プロセスマイニングでは、現象としてのプロセスの非効率性やボトルネックをあぶりだすにすぎず、なぜそのような問題が生じているかの根本原因は教えてくれませんし、当然ながら解決策を提示してくれるわけでもありません。(手がかりは示してくれますが)

したがって、プロセスマイニングを含めた各種分析結果から得られた現状把握から、根本原因を突き止め、解決策を立案し、優先順位をつけて具体的な展開策に落とし込むための方法論が別途必要となります。

⇒ シックスシグマとは(シックスシグマオ フィシャルページ)

リーン・シックスシグマはプロセスマイニングに従事するビジネスコンサルタントに必須の知識・スキルです。


Experts who are familiar with process mining are called “process miners”.

Process mining itself can be narrowly defined as an “analysis method”, but if it is broadly regarded as the main methodology for business process reform / improvement projects and continuous process improvement, process mining The domains involved are as broad as:

  •     Total management as a business reform / improvement project
  •     Creating scoping (analysis plan)
  •     Extract event log data from various systems
  •     Data preprocessing (cleaning, etc.)
  •     Creation of operation / analysis dashboard for process mining tools
  •     Root cause analysis and improvement plan
  •     Development and establishment of improvement measures
  •     Establish continuous monitoring and improvement system

Of course, it would be difficult for an individual to do all of the above. In reality, a team of data scientists, system administrators, tool operators, business analysts, business consultants, and others with a certain title will work together.

I believe that a process miner, whatever the title, is someone who has the knowledge and experience to derive insights from data analysis related to business processes and lead to improvements.

Therefore, in order to be recognized as a process minor, we believe that it is necessary for each to acquire a wide range of process-related knowledge while possessing special skills.

Here is the knowledge you need to acquire as a process miner.

1. Basic knowledge of process mining

It is desirable to understand the principles and principles of what is process mining in the first place, and what is the basic approach of an algorithm that reproduces a process model from event log data.

I believe that basic knowledge of process mining is a basic subject for everyone involved in process mining.

2 Business analysis

Business analysis is a comprehensive methodology for collecting and analyzing data about various aspects of your business. The main points of business analysis are to understand the current situation as accurately as possible and to clearly identify business issues, leading to superior strategy planning, effective system requirements definition and organizational restructuring.

If you consider process mining as an analysis method, it can be positioned as an analysis method specialized for processes included in business analysis. In a real process mining project or business reform / improvement project, analysis of event log data is not enough.In many cases, peripheral investigation and analysis, interviews for root causes, workshops, etc. are performed. Therefore, it is better to have knowledge of business analysis.

Business analysis knowledge is something that a business analyst, of course, also wants a data scientist to have.

3 Business Process Management (BPM)

Business process management (BPM) literally means controlling business processes appropriately. The purpose is to increase profits, reduce costs, and improve customer satisfaction through continuous improvement of business processes.

Therefore, BPM develops and organizes various ideas and methods that cover the entire cycle from process development to operation and transformation. Process mining can provide various forms of support such as understanding the current situation based on data, simulating improvement measures, and operational support in each phase of BPM.

Since the ultimate goal of process mining is to reform and improve processes, knowledge of BPM is very important.

Business process management knowledge is a must for business analysts and business consultants involved in process mining.

4 Database

Most of the extraction sources of event logs to be analyzed by the process mining tool are transaction data stored in the database in the business system.

Depending on the system, a function that can download past operation history and transaction history collectively may be implemented, but if not, analyze the structure of the database and determine which table contains the data items required for analysis, You need to consider which data items should be used as keys to connect the related tables, and how to extract the three required items of the event log, that is, matter ID (process ID), activity, and time stamp.

To do this, it is necessary to understand at least the formation of databases, especially relational databases, in addition to understanding business systems such as ERP described below.

Basic knowledge of DB is essential for data scientists, IT managers, and process analysts involved in process mining.

5 Business system (ERP, CRM, etc…)

The processes that are often analyzed in process mining are P2P (Procure-to-Pay), that is, the purchasing process, and O2C (Order-to-Cash), that is, the order receiving process, which are often SAP and Oracle. Is done on the ERP system.

ERP is a business system that covers all corporate activities, so its database structure is complicated and its functions are diverse. Therefore, by understanding the basic architecture of ERP such as SAP and ORACLE, the DB structure, and the relationship between functions, in addition to the basic knowledge of the database, it becomes possible to smoothly perform event log extraction and preprocessing.

ERP knowledge is a must for process mining data scientists, IT managers and business consultants.

6 ETL & Scripts(SQL, Python, etc…)

Data (transaction data) extracted from various systems cannot be uploaded to the process mining tool as it is. It is necessary to process the data into a format that can be analyzed by a process mining tool, and to remove noise and the like to make it a clean file.

This process is called “data preprocessing”, and “ETL” is a useful tool for data preprocessing. I recommend using the open source “KNIME”. However, there are many other tools that have the same functions, so it is fine if you adopt one that is easy for you to use. In any case, if you are in charge of data pre-processing, learning the ETL tool is effective.

Of course, if you are an engineer, you should be able to perform data pre-processing even for scripts that are good at SQL, Python, R, etc. However, the ETL tool has the advantage that it is easy to explain to the stakeholders because the flow of data preprocessing can be shown visually as a “workflow”, that is, a processing procedure.

Some of the process mining tools themselves have a connector function that allows API connection or ODBC connection to various systems and DBs to extract data and perform some preprocessing.

However, if the system is customized or if it is necessary to correct garbled characters or missing data, it will be necessary to process the ETL tool or script separately.

ETL & Scripting is essential knowledge and skills for data scientists and IT managers.

7 Tool operation

The tool operation method differs considerably for each process mining tool, so you have to learn by using the tool that you operated. However, when performing advanced analysis, standard functions often cannot be covered, and dashboards are often customized and various charts are created. In this case, the same approach as BI design (analysis dimension = dimension and aggregation method = measure setting) and SQL-like formulas are required, so it is necessary to learn and adapt accordingly.

8 Lean Six Sigma

Lean Six Sigma, which originates from the Toyota Production System, has been adopted by many companies worldwide as an approach to help identify root causes and plan solutions for business process reforms and improvements.

Process mining merely exposes process inefficiencies and bottlenecks as phenomena, does not tell the root cause of why such problems are occurring, and naturally suggests solutions. It doesn’t even give me. (Although it gives us clues)

Therefore, a separate methodology is needed to identify the root cause, plan a solution, prioritize it, and put it into a concrete development plan based on the current situation obtained from various analysis results including process mining.

Lean Six Sigma is essential knowledge and skills for business consultants engaged in process mining.

プロセスマイニングベンダー最新評価レポート2020 – Everest Group PEAK Matrix(R) 2020

evelest

Process Mining Products PEAK Matrix(R) Asessment 2020

ダラスに本社を置くコンサルティング&調査会社のEverest Groupは、2020年2月26日、主要なプロセスマイニングベンダー13社について、以下の2つの軸での市場ポジショニング(山脈に見立てているので「PEAK Matrix」)を発表しています。

→ 2021年版(2021年6月4日リリース)の速報はこちらから

横軸:Vision & Ability – Measures ability to deliver products successfully
製品開発ビジョンを示し、それに沿った製品を成功裡に提供できる能力

縦軸:Market Impact – Measures impact created in the market
市場に与えるインパクトの強さ

PEAK Matrixでは、競合製品をLeaders(リーダー)、Major Contenders(主要な競争相手)、Aspirant(上を狙う野望を持つ製品)の3つにカテゴライズします。Process Mining市場では、それぞれのカテゴリーに含まれる製品は次の通りです。

Leaders

  • Celonis
  • Software AG
  • UiPath(旧ProcessGold)

Major Contenders(アルファベット順)

  • ABBY Timeline
  • Apromore
  • LANA Labs
  • Logpickr
  • Minit
  • myInvenio
  • PAF now
  • QPR Software

Aspirants

  • Everflow
  • Puzzle Data

→Matrix図はこちら

市場リーダーのCelonisは既に社員数800人を抱え、大型の資金調達にも成功して「ユニコーン」としても認められる存在。そして、リーダーグループの一角を占めるSoftware AGは、「ARIS」のブランドで知られ、「ARIS Process Mining」の販売にも力を入れてきています。また、先ごろ買収したProcessGoldを「UiPath Process Mining」と名称を変え、UiPathが強みを持つRPAを含んだトータルソリューションとして提案力を強化しています。

Major Contender、すなわちリーダーグループに闘いを挑んでいる主要な競争ベンダーはまさに群雄割拠という状況。なお、私が把握している限りですが、日本においてなんらか連絡先があるのは、ABBYY Timeline、LANA Lab、myInvenioの3つだけです。

Aspirantsは、虎視眈々と上を目指してがんばっているベンダーというところでしょうか、韓国で独自開発され、韓国企業での導入実績を増やしているPuzzle Dataが取り上げられているところが興味深いです。

Gatnerの市場ポジショニングマップである「Magic Quadrant」のプロセスマイニング市場版がまだ発表されていない状況( 2020年2月)で、PEAK Matrixは、市場を概観できる良いレポートですね。

レポート詳細は有料となるようですが以下から入手可能です。

Process Mining – Technology Vendor Landscape with Products PEAK Matrix(R) Assessment 2020


ビジネス戦略視点からのプロセスマイニングの価値

value discipline model

Value of process mining from business strategy perspective
Engilsh follows Japanese. Before proofread.

「事業戦略」の視点から、プロセスマイニングはどのような価値があるのかを考えてみましょう。

今回、戦略の枠組みとして援用するのは、”THE DISCIPLINE OF MARKET LEADERS”(邦題:ナンバーワン企業の法則)において、著者のM. Treacy and F. Wiersemaが示した価値基準のモデル(Value Discipline Model)です。

同書の中で彼らは、企業は、すべての顧客に対してあらゆることを提供しようとするのではなく、それぞれの企業が独自の価値を提供できるところに集中すべきだと説きました。そして、戦略の方向性として以下の価値基準モデルに示された3つの方向性があると述べています。

1 PRODUCT LEADERSHIP 

 ‐ 製品の競争優位性を高めて、ベストプロダクトを提供する

2 CUSTOMER INTIMACY

 ‐ 顧客との密接な関係を築いて、ベストサービス(対応)を提供する

3 OPERATIONAL EXCELLENCE

 ‐ 業務の効率性を高めて、ベストプライスを提示する

Value Discipline Model
Source: Discipline of Market Leaders, M.Treacy, F.Wilseama

プロダクトリーダーシップとは、競合製品にはない独自の特徴を提示することで、競争優位性を高めるアプローチであり、機能に加えてデザインとしての魅力を高めたiPod, iPhone, iPadなどを次々と投入してきたAppleが典型例です。

カスタマーインティマシーとは、顧客対応を丁寧に行い、強い結びつきを形成・維持しようとするものであり、リッツカールトンホテルなどが挙げられます。

オペレーショナルエクセレンスとは、効率性を最大限に高めることにより低コストを実現し、顧客に対して競争力のある価格を提示するアプローチです。はハンバーガー業界では「マクドナルド」がこのアプローチを主として追求していると言えます。

さて、この3つの基本戦略は、今から25年前の1995年に提唱されたものですが、考え方としては依然として有効であると言えるでしょう。これら3つのすべてを同時に追求することが可能な企業があったとしても、世界中で数えるほどでしょう。そえぞれ膨大な経営資源の投入と優れたビジネスオペレーションが求められるからです。

とはいえ、様々な分野における飛躍的なテクノロジーの進展、またデジタル化の進展によって留意すべきことは、まず「プロダクトリーダーシップ」、すなわち、自社製品の差別化を図り続けることは極めて難しくなったということです。

たとえば、自動車業界でいえば、ガソリンカーの時代は、エンジンにしろ変速機にしろ、それぞれの部品に高度な技術が要求され、模倣は簡単ではありませんでした。ところが、電動自動車においては多くのパーツがモジュール化され、基本性能において違いを生み出すのは困難になっています。

また、「カスタマーインティマシー」においても、ネットを通じて、メーカーと消費者が直接やりとりをすることが可能となり、また消費行動の多くがオンラインで行われるようになった結果、個々の顧客に関する膨大なデータを蓄積、分析することできめ細やかな対応が可能になりつつあります。

「カスタマーインティマシー」の究極は、ワン・ツー・メニイ(One to Many)ではなく、「ワン・ツー・ワン」の実現だといえますが、デジタル技術によってこれが限りなく現実的なものとなりつつあります。

したがって、カスタマーインティマシーにおいても、多くの企業が同じ水準のサービスを提供できるようになると思われ、独自の価値としての輝きを十分に発揮できない可能性があります。

しかし、「オペレーショナルエクセレンス」はどうでしょうか。ある程度はシステム化・自動化できるとしても、高度化・複雑化した顧客ニーズに対応して相応のカスタマーインティマシーを維持しつつ、運営コストを適正に保ち、利幅を確保するのはますます難しくなっているのではないでしょうか?

オペレーショナルエクセレンスの追求とは結局のところ、エンド・ツー・エンドの業務プロセスの最適設計であり、日々の業務プロセスを確実に実行することです。

すなわち、ビジネスプロセスマネジメント(BPM)をいかに徹底して行うかにオペレーショナルエクセレンス実現の鍵があります。そして、プロセスマイニングは、BPMにおいて、データに基づく現状プロセスの把握と、非効率性やボトルネックの特定に力を発揮します。さらに、理想プロセスの開発のためのシミュレーション、および日々の業務プロセスのリアルタイムのモニタリングにも活用できます。

こう考えると、価値基準モデルの中でも、特に「オペレーショナルエクセレンス」を追求する企業において、「プロセスマイニング」はより高い価値を持つと言えるのではないかと思います。

そもそも、どんな戦略であれ、その実行は業務プロセスに落とし込まれ、当該業務プロセスが想定どおりに実行されることが求められますから、プロセスマイニングの価値は、オペレーショナルエクセレンスの追求だけに限定されるわけではないことは付け加えておきたいところです。


Let’s consider the value of process mining from the viewpoint of “business strategy”.

This time, the framework of the strategy used is “Value Discipline Model,” which was shown by author M. Treacy and F. Wiersema in “THE DISCIPLINE OF MARKET LEADERS”.

In the book, they argued that businesses should focus on where each company can provide unique value, rather than trying to provide everything to every customer. They state that there are three strategic directions as shown in the value model below.

1 PRODUCT LEADERSHIP

Providing the best products by enhancing the competitive advantage of a product.

2 CUSTOMER INTIMACY

-Build close relationships with customers and provide the best service.

3 OPERATIONAL EXCELLENCE

-Improve business efficiency and offer the best price.

Product leadership is an approach that enhances the competitive advantage by presenting unique features that are not found in competing products. Apple is a typical example for Product leadership. In addition to superior functions, iPod, iPhone, iPad, etc., which have increased the attractiveness of outer design, have been introduced one after another by them.

Customer intimacy is an “intimate” service that treats customers with tailored care and strengthen and maintains strong ties, such as the Ritz-Carlton Hotel.

Operational excellence is an approach that maximizes efficiency, lowers costs, and offers customers a competitive price. McDonald’s is one of them who are primarily pursuing this approach in the hamburger industry.

By the way, these three basic strategies were proposed in 1995, 25 years ago, but they can still be said to be effective as a way of thinking. Since each of these requires huge investment of management resources and excellent business operations.

However, the dramatic advances in various technology and especially the advancement of digitalization are important to note first that it has become extremely difficult to “product leadership”, that is, to continue to differentiate our products.

For example, in the automobile industry, in the era of gasoline cars, proprietary technology was required for each component, whether it was an engine or a transmission, and imitating was not so easy. However, many parts are modularized in electric vehicles, making it difficult to make a difference in basic performance.

In “Customer Intimacy,” manufacturers and consumers can directly interact with each other through the Internet, and as a result of the fact that many consumer behaviors take place online, vast amounts of data on individual customers Accumulation and analysis can be performed, and detailed responses are becoming possible.

The ultimate in “customer intimacy” is not “one-to-many” but “one-to-one”, but digital technology is making it as realistic as possible. Therefore, many companies will also be able to provide the same level of service in customer intimacy, and may not be able to fully demonstrate their unique value.

But what about “operational excellence”? Even if it can be systematized and automated to some extent, it will become increasingly difficult to keep operating costs appropriate and maintain margins while maintaining appropriate customer intimacy in response to sophisticated and complex customer needs.

The pursuit of operational excellence is, after all, the optimal design of end-to-end business processes and ensuring the execution of daily business processes.

In other words, how thoroughly business process management (BPM) is performed is the key to achieving operational excellence. And, process mining helps BPM to understand the current process based on data and identify inefficiencies and bottlenecks. It can also be used for simulations to develop ideal processes and for real-time monitoring of daily business processes.

Given this, I think that process mining can be said to have higher value among companies that pursue operational excellence among the value-based models.

I need to add that in the first place, the execution of any strategy should break down into business processes, and it is required that the business processes be executed as expected, so the value of process mining is not limited only to the pursuit of operational excellence.

プロセスマイニングvsプロセスインテリジェンス

business intelligence process intelligence process mining

Process Mining vs Process Intelligence
English follows Japanese. Before proofread.

プロセスマイニングについて書かれた資料やベンダー情報では、「プロセスインテリジェンス」という言葉がしばしば登場します。

「プロセスインテリジェンス」がどのようなものか、ベンダーによってその定義は異なるようですが、明確な説明がないため、プロセスマイニングとどう違うのか混乱されている方も多いと思われます。

当記事では、「プロセスマイニング」と「プロセスインテリジェンス」の関係性や違いについて、「ビジネスインテリジェンス」も含め、わかりやすさを優先して解説したいと思います。

実のところ、両者の関係性は明白で、2011年に発行された「プロセスマイニングマニフェスト」に以下の図が掲載されています。

ご覧の通り、一番大きな枠として「ビジネスインテリジェンス」があり、その内側に「プロセスインテリジェンス」、さらにその内側に「プロセスマイニング」があるという入れ子構造になっています。

まずビジネスインテリジェンスですが、文字通り、ビジネスに関わるあらゆるデータ・情報を分析対象として収集し、分析するものです。いわゆるBIツールを用いて分析することが多いですが、典型的には、売上や利益などの財務データをベースに、年度別、月別、週別などの推移を見たり、エリア別や製品別にドリルダウンして、売上や利益に貢献しているエリアや製品カテゴリ、逆に足を引っ張っている要因がどこかを掘り下げて分析する。これがビジネスインテリジェンスです。

ビジネスインテリジェンスのうち、特に業務プロセスに関わるデータ・情報に絞って各種分析を行うのが「プロセスインテリジェンス」です。さらに、プロセスインテリジェンスの中で、業務の流れ、すなわち「コントロールフロー」を核とする分析手法が「プロセスマイニング」です。

このようにみると、プロセスマイニングは大きくはビジネスインテリジェンスに含まれるため、ビジネスインテリジェンスで代替できるのではないか、とおっしゃる方もいます。

しかし、プロセスマイニングの基本機能である「(自動的な)プロセス発見」には、特殊なアルゴリズムが必要であり、BIツールには、このアルゴリズムは通常、実装されていません。また、BI機能に基づいて、プロセスマイニング用のアルゴリズムをゼロベースで組むのは現実的には不可能です。(初歩的なものは組めたとしても、それによって、再現されたプロセスモデルの信頼性は低いものでしょう)

したがって、プロセスマイニングを実行したければ、専用のプロセスマイニングツールの採用が必要になり、BIで代替することはできません。

では、プロセスインテリジェンスがカバーする領域はどこになるのでしょうか?

プロセスマイニングツールでは、特殊なアルゴリズムを用いて行うプロセス発見以外に、様々な統計数値を算出し、様々な表・グラフで表現する機能が備わっています。

例えば、分析対象としたプロセスに含まれる案件数、プロセスの開始から終了までのスループット(サイクルタイム)や、各アクティビティごとの処理数、処理時間、あるアクティビティから別のアクティビティまでの移行時間、すなわち待ち時間などです。そして、これらの数値に関して平均、最大・最小、中央値、標準偏差などを併せて確認することが可能です。

こうした統計数値の算出は、シンプルな四則演算ベースで可能であり、特殊なアルゴリズムは言うまでもなく必要ありません。BIでも簡単に実行できますが、これこそ「プロセスインテリジェンス」がカバーしている領域です。

プロセスマイニングによる分析においては、アルゴリズムを通じて発見された「プロセスモデル」(as isプロセスモデル)を起点に、様々なバリエーションを検証する「バリアント分析」や、理想プロセス(to beプロセス)との比較分析、すなわち適合性検査などを行います。

さらに、処理時間がKPIを超えている問題アクティビティや、待ち時間が長くなっているボトルネックを特定していきますが、ここで重要になってくるのが処理件数や処理時間、待ち時間などの基本統計数値です。

すなわち、プロセスマイニングでは、プロセスモデルと併せてプロセスインテリジェンスの数値を様々な視点で掘り下げることを行うわけです。

主要なプロセスマイニングツールでは、プロセスモデルを作成するアルゴリズムは当然として、プロセスインテリジェンス機能、特に、様々な数値をビジュアルに表現するダッシュボード機能が標準で装備されています。この意味では、現在のプロセスマイニングツールは、「プロセスインテリジェンスツール」と言い換えても全く支障がないと言えます。


The term “Process Intelligence” is often used in process mining documentation and vendor information.

The definition of “Process Intelligence” varies from vendor to vendor, but there is no clear definition, therefere many people are confused about how it differs from process mining.

In this article, I would like to explain the relationship and differences between “process mining” and “Process Intelligence”, explaining “Business Intelligence” at the same time.

In fact, the relationship between the two is clear, as illustrated in the “process mining manifest” published in 2011.

As you can see, the largest frame is the “Business Intelligence”, inside which is the “Process Intelligence”, and inside which is the “process mining”. They are nesting relationships.

Business intelligence is literally the collection and analysis of all the business related data and information. The analysis is often conducted using so-called BI tools, typically starting from financial data such as sales and profits, we look at trends by fiscal year, month, and week, and drill down by area and product to delve into the areas and product categories that contribute to sales and profits, as well as the factors that are hindering them. This is business intelligence.

“Process Intelligence” is a type of business intelligence analysis that focuses on data and information related to business processes. Furthermore, “process mining” is an analytical method based on the flow of business process, or “Control Flow” in process intelligence.

Some people say that since process mining is basically included in business intelligence, can it be replaced by business intelligence?

However, the basic function of process mining, “(automatic) Process Discovery” requires a special algorithm that BI tools typically do not equipped with. And it is not practical to build algorithms for process mining based on BI capabilities from scratch (Even if you could build an elementary one, the process model that you reproduced would be unreliable.)

Therefore, if you want to do process mining, you need to use a dedicated process mining tool, which BI cannot replace.

So where does process intelligence cover?

In addition to process discovery using special algorithms, the Process Mining Tool calculates various statistical values and presents them in various tables and graphs.

For example, the number of issues involved in the process being analyzed, the throughput from start to finish of the process (cycle time), the number of activities per activity, the processing time, the transition time (path time) from one activity to another, or the wait time. The average, maximum and minimum, median, and standard deviation of these values can also be checked.

These statistics can be calculated on the basis of simple arithmetic operations without the need for special algorithms. It’s easy to do with BI. That’s where “Process Intelligence” covers.

In the process mining analysis, based on the “process model” (as is process model) discovered through the algorithm, various variations are verified “variant analysis”, and comparative analysis with ideal processes (to be Process), that is, conformance checking, is performed.

In addition, identify problem activities where processing time exceeds KPIs and bottlenecks where waiting time is too long. Basic statistics such as number of processes, processing time, and waiting time are important.

In other words, process mining involves drilling down into process intelligence figures from various perspectives in conjunction with process models.

The major process mining tools have standard process intelligence capabilities with dashboards that visually represent various numbers, as well as algorithms for creating process models. In this sense, it is safe to say that the current process mining tools are “process intelligence tool”.

プロセスマイニング入門(2)プロセスマイニングの歴史

history

Introduction to Process Mining (2) History of process mining
English follows Japanese. Before proofread.

プロセスマイニングは、2019年に20歳の誕生日を迎えたばかりの若いテクノロジーです。今回は、プロセスマイニングの歴史について簡単にご紹介します。

プロセスマイニングの生みの親は、”God Father of Process Mining”と呼ばれる、オランダ人のWil van der Aalst氏(RWTH Archen大学教授、以下Aalst氏)です。

コンピュータサイエンティストとして、世界的に著名な Aalst氏の主要専門分野は、情報システム(IT)、ワークフローマネジメント、プロセスマイニングであり、Archen大学では、Process and Data Scienceグループを率いています。

Aalst氏は1990年代後半、オランダのEindhoven University of Technology(TUe、以下TUe)においてワークフロー、ワークフローマネジメントを研究するなかで、現状の業務プロセスを把握するための既存の手法、すなわちインタビューやワークショップでは、主観的で断片的な情報に基づく不完全なプロセスモデルしか描けないことに問題を感じていました。

一方で、1990年代は、SAP社のERPを始めとする業務システムが普及しつつあり、企業・組織の様々な部門における業務の多くがITシステム上で行われれるようになっていました。

そこで、Aalst氏は、ITシステムに記録されている操作履歴、すなわちイベントログから、業務プロセスが再現可能ではないかというアイディアを着想しました。Aalst氏によれば、「プロセスマイニング」という言葉を初めて使用したのは、1998年に書いた研究計画書とのこと。

そして、Aalst氏はプロセスマイニングの研究に1999年から本格的に取り組み始めます。したがって、1999年がプロセスマイニングの誕生年であり、生誕の地はオランダ、ということになります。2000年代初頭からは、Aalst氏が在籍していたTUeを中心に学術研究が活発に行われてきました。

イベントログからプロセスモデルを再現するためのアルゴリズムとしては、まずは「アルファアルゴリズム」が用いられました。その後、より信頼性の高いプロセスモデルを表現するために、「ヒューリスティックマイナー」や「インダクティブマイナー」など、様々なアルゴリズムが開発されています。

2004年には、オープンソースのプロセスマイニングツール、「ProM」の最初のバージョンが開発されています。ProMは現在もバージョンアップを重ねており、主に大学での研究に用いられています。研究に用いられるだけあって、最先端のアルゴリズムや新たな機能がプラグインとして次々と提供されている点がProMの特徴です。

現在は存在していませんが、初めてのプロセスマイニングの会社、「Futura社」が2007年に設立されました。2010年前後からはプロセスマイニングを専門とする会社が次々と誕生しています。

具体的には、2009年にProcessGoldが設立されています。また、Aalst氏の下でプロセスマイニングを研究し、修士号を取得したAnne Rozinat氏は、卒業後、2010年にFluxiconを設立、プロセスマイニングツール、「Disco」を開発しています。2011年には、現在業界をリードするCeonisが誕生しています。

2010年以降、新たなプロセスマイニングツールが次々と市場に登場するなか、欧州においてプロセスマイニングの認知度・理解度を高めることに最も貢献したのは、Aalst氏以外には、「Process Mining Camp」という年次イベントを2012年から開催してきたFluxiconのAnne氏だと言えるでしょう。

Aalst氏は、2011年にプロセスマイニングに関する初めての著作『Process Mining: Data Science』(現在は2016年版)を出版、また2014年にはCouseraで当著作と同じタイトルのMOOC、すなわちeラーニングコースを開発、提供を開始しています。当eラーニングコースは、これまでに世界中で数万人が受講しており、プロセスマイニングの基本的な知識・ノウハウを広めることに寄与しています。

欧州においてプロセスマイニングが本格普及期に入ったのは、2015年ころからです。2018年以降はRPAに続く、大きな成長分野として注目が高まりました。2019年には、国際的なプロセスマイニングコンファレンス、「International Conference on Process Mining 2019」がドイツのArchenで初めて開催されました。2020年には、イタリアのPaudaで同コンファレンスが開催予定です。

欧州以外のエリアでは、ProMと同じオープンソースのプロセスマイニングツール「Apromore」が開発されたUniversity of melbourneの研究者を中心にオーストラリアでの取り組みが活発です。

米国、および日本ではともに、2019年からプロセスマイニングが本格的に紹介されはじめました。日本では、Impress社が主催した「プロセスマイニングコンファレンス2019」が2019年9月に開催され、約500人の参加者を集めて、関心の高さを示しました。

アジア全般ではまだまだ取り組みはこれからというところですが、韓国ではAalst氏の下で学んだ研究者が開発した「ProDiscovery」を有するPuzzle data社が、韓国企業でのプロセスマイニング導入実績を積み重ねています。

日本の場合、現在市場での存在感が大きいのは、CelonisとmyInvenioの2つのツールに限られますが、今後様々なプロセスマイニングツールが日本に紹介され市場が拡大していくことは間違いないと思われます。


Process mining is a young technology that just turned 20 in 2019. Here’s a brief history of process mining.

The creator of process mining is Dutch researcher, Wil van der Aalst, Professor, RWTH Archen University, being called as “God Father of Process Mining”.

As a computer scientist, world-renowned Aalst’s key areas of expertise include information systems, workflow management and process mining, and at Archen University, leads the Process and Data Science Group.

In the late 1990s, while studying workflow and workflow management at Eindhoven University of Technology (TUe) in the Netherlands, Aalst was challenged by the fact that existing methods for understanding current business processes — interviews and workshops — could only draw incomplete process models based on subjective and fragmented information.

On the other hand, in the 1990s, business systems such as SAP ’ s ERP became widespread, and many of the business operations in various departments of companies and organizations were conducted on IT systems.

So Prof. Aalst came up with the idea that business processes could be replicated from the operational history, or event log, recorded in IT systems. According to Aalst, the term “process mining” was first used in a research proposal he wrote in 1998.

Aalst began working on process mining in earnest in 1999. Therefore, 1999 is the year of the birth of process mining, and Holland is the birthplace of process mining. Since the early 2000s, academic research has been actively carried out by TUe and other European universities.

The first algorithm used to reconstruct the process model from the event log was “Alpha Algorithm”. Since then, various algorithms such as “Heuristic Miner” and “Inductive Miner” have been developed to represent more reliable process models.

In 2004, the first version of “ProM” an open source process mining tool, was developed. ProM is still being upgraded and is mainly used for research. ProM is unique in that it is used for research, and the latest algorithms and new functions are provided as plug-ins one after another.

The first process mining company that no longer exists, “Futura” was founded in 2007. Since around 2010, companies specializing in process mining have emerged one after another.

ProcessGold, which has been acquired by UiPath in October 2019, was established in 2009. After graduating, Anne Rozinat, who studied process mining under Aalst and received a master’s degree, founded Fluxicon in 2010 to develop a process mining tool called “Disco”. In 2011, the current industry leader, Ceonis, was born.

With new process mining tools on the market since 2010, it’s Anne of Fluxicon who’s done the most to raise awareness and understanding of process mining in Europe by holding “Process Mining Camp” every year since 2012 besides Prof. Aalst.

Aalst published his first work on process mining in 2011, ‘Process Mining: Data Science in Action’ (The current version is 2016.), and in 2014 developed and began offering MOOC with the same title of the book, an e-learning course, at Cousera. Tens of thousands of people around the world have taken this e-learning course, helping to spread the basic knowledge and know-how of process mining.

In Europe, process mining started becoming widely used around 2015. Since 2018, it has gained attention as a major growth area following RPA. In 2019, the first international Process Mining Conference, “International Conference on Process Mining 2019” was held in Archen, Germany. In 2020, the conference will be held in Pauda, Italy.

Outside of Europe, Australian practice is centered around researchers at the University of Merlbourne, which developed the open source process mining tool “Apromore”.

Process mining has been practically introduced in both the U.S. and Japan since 2019. In Japan, the “Process Mining Conference 2019” hosted by Impress attracted 500 participants and showed great interest.

In Korea, Puzzle data, which has a “ProDiscovery” developed by a researcher who studied under Aalst, has a track record of introducing process mining in Korean companies.

In the case of Japan, although the two tools Celonis and myInvenio have a strong presence in the market at present, it is certain that various process mining tools will be introduced to Japan and the market will expand.

根本原因追求のための2つの手法

fishbone analysis

Two approaches to dig into the root-causes of a process.

新しいITツールが登場すると、多くの人は過大な期待を抱きがちですが、プロセスマイニングに対してもまた、夢のような万能ツールと思い込む方がいらっしゃるようです。

プロセスマイニングは分析手法に過ぎず、また分析を通じて手にするものは、ありのままの現状であり、その現状から見えてくる現象としての問題点のみです。

具体的にお話しすると、分析対象となるプロセスに関わるイベントログを抽出し、プロセスマイニングツールで分析することにより、事実ベースでの現状プロセス(as isプロセス)がフローチャートとして可視化されます。

そして、プロセスの各手順となるアクティビティの処理回数や処理時間、待ち時間などが算出されることから、プロセスのどこの業務量負荷が高くなっているか、どこに時間がかかりすぎているか、どこにボトルネックがあるか、という問題の所在を特定できます。

しかし、なぜそのような問題が発生しているかという原因はデータの中にはありません。さらに分析を進めて、ある担当者の業務においてボトルネックが発生しやすい、といった形で問題の発生源を絞り込んでいくことまではできますが、相変わらず「原因」が明らかになるわけではないのです。

そもそも、何らかの問題が発生しているとき、それはかなり根深いところに原因があったり、また複合的な原因によることも多く、問題と原因が一対一で結び付くとは限らないのです。

したがって、プロセスマイニングによる分析を進めるうえでもっとも重要でかつ難度が高いのが「根本原因分析」です。なぜ最も重要かと言うと、プロセスの改善は対処療法ではなく、根本原因を解消することが最も効果的であるからです。

たとえば、顧客対応プロセスにおいてボトルネックが発生しており、対応の遅れにより顧客満足度が下がっているとして、ボトルネック解消のために、単純にスタッフを増員すればいいでしょうか。スタッフ増員によってボトルネックは一時的に解消できたとしても、コスト増をもたらし、業績的には利益低下につながってしまうのです。

しかし、もし、根本原因を突き止めることができ、スタッフ増員なしでボトルネックが解消できたとしたらどうでしょう。顧客満足度が改善されると同時に、利益を圧迫することもありません。

とういわけで、プロセスマイニングにおいては、「根本原因分析」に一番力を入れるべきなのですが、当記事では数十年前から知られる根本原因分析に役立つ2つの枠組みをご紹介しましょう。業務分析やビジネスコンサルティング手法を学ばれたことがある方にとってはお馴染みだと思います。

1 5Why分析

問題がある場合に、「なぜ、そうなっているの」という問いを5回繰り返していく方法です。これはトヨタ流の問題解決法としてよく知られています。5Whyだからといって、必ず5回繰り返さなければならないというものではなく、3回のなぜで根本原因=「真因」にたどり着くこともあるでしょうし、逆に7回繰り返さないとたどりつけないほど根深いところ真因がある場合もあるでしょう。「なぜなぜ分析」と呼ぶ方もいらっしゃいます。

2 フィッシュボーン分析

フィッシュボーン分析は原因の構造化を図る手法であり、見た目が魚の骨に似ていることからこのように呼ばれています。「特性要因図」や、日本の品質管理(QC:Quality Control)の父、石川馨氏が考案したことから「石川ダイヤグラム」とも呼ばれます。

フィッシュボーン分析は、QC7つ道具のひとつとしても知られており、特に、製造業の生産現場での品質管理のために利用されてきました。問題を起こしている原因が複数存在する場合に、原因を大きく分類していくことで構造化を図り、問題解決のためにどこからどのように改善施策を打てばいいかを検討するために有効です。

プロセスマイニングとデータマイニング・AI、BPMとの関係

process mining and data mining and BPM

How process mining can relate to data mining, AI and BPM.

プロセスマイニングと密接な関係がある隣接分野があります。ひとつはデータマイニング・AI、もうひとつはBPM(Business Process Management)です。

今回は、どのように関係があるのかを簡単にご説明しましょう。

まずは「データマイニング・AI」とは何かから説明します。データマイニングは、基本的にビッグデータを対象とした分析手法であり、その主な目的はものごとの因果関係や典型的なパターンのような「法則性」を発見して、様々な意思決定に役立てることです。

例えば、各地の気温、湿度などの天候情報を大量に収集し、データマイニングでそのデータを分析することで、どのような状況において晴天になりやすいのか、それとも雨天になりやすいのかの予測式がつくられ、天気予報に活用されています。

データマイニングでは、数十年前から活用されてきた「多変量解析」の手法、例えば、回帰分析や、クラスター分析、決定木分析に加え、近年は主にニューラルネットワークによるディープラーニングが飛躍的な進歩を遂げ、ものごとを判別したり、予測する精度が大きく向上しています。一般に、これらの分析手法のことは「AI(Artificial Intelligence:人工知能)」と呼ばれますが、AIはデータマイニングにおいて頻繁に利用される手法なので、当記事では「データマイニング・AI」と一括りにしています。

さて、データマイニングはあらゆる分野のあらゆるビッグデータを分析対象としますが、基本的に「プロセス」を対象とはしてきませんでした。ある瞬間、すなわちスナップショット的な静的なデータを抽出して、要約したり、分類したり、因果関係を見出してきたりしたのです。

一方、プロセスマイニングは、文字通り、時系列のひとつながりになった動的なデータから、プロセスの流れを描き出すこと、すなわち「プロセスモデル」を作成することが基本にあります。もちろん、プロセス処理件数や処理時間など、プロセスに関わる静的な各種統計量も併せて算出する点は、データマイニングと共通しています。

こう考えると、データマイニングとプロセスマイニングは、分析手法としては兄弟分のようなものです。(どちらにも「マイニング」という言葉が含まれていますし)

ただ、プロセスマイニングを主体に考えると、プロセスに関わる様々な分析を深めていくうえで、データマイニング、AIの手法が応用されています。例えば、現在処理中の案件(ランニングケース)の終了までのリードタイムを推測するためには、データマイニングにおける「予測分析」が採用されています。

それ以外にも、必要に応じて、クラスター分析や決定木分析などが活用可能であり、今後も、プロセスマイニングツールとしての分析の幅や精度を高めるためにデータマイニングの手法がプロセスマイニングに取り入れられていくと考えられます。

では次に、BPM(BPM)について考えてみましょう。BPMはシンプルにいえば、プロセスを改善することを目的として、プロセスの現状を分析し、問題点を解消するto beプロセスを設計し、現場に展開・監視を行う一連の活動です。

このBPMの活動のうち、とりわけ「現状分析」において、プロセスマイニングの基本アプローチのひとつ、「プロセス発見」は役立ちますし、その後の設計、展開、監視においても、プロセスマイニングが提供できる「適合性検査」、「プロセス強化」のアプローチはBPMにとって強力な武器となりえます。

このように、プロセスマイニングとデータマイニング・AI、BPMはお互いに補完しあえる関係にあると言えます。プロセスマイニングのゴッドファーザー、Wil van der Aalst教授は、「プロセスマイニングは、データマイニングとBPMをつなぐ橋である」と述べられていますが、まさに、BPMの取り組みにおいて、プロセスに特化したデータマイニングとしての「プロセスマイニング」は大きな役割を果たしていくと思われます。

プロセスマイニング入門(1)プロセスマイニングとは?

data analysis

Introduction to Process Mining (1) What is process mining?

プロセスマイニングは、大きな枠組みで考えるなら、ひとつは「業務分析(Business Analysis)」のための分析手法であると言うことができるでしょう。

業務分析という言葉自体は、現在の業務に関する様々な情報やデータを収集し、分析して、現状の仕事の進め方や組織などについて、仕組みや因果関係などを把握する活動を意味します。すなわち、業務に関する「現状把握」のための分析手法です。

プロセスマイニングは、業務分析が対象とする幅広い業務の側面のうち、「業務プロセス」を主たる分析対象としています。プロセスマイニングは元々は、「BPM(Business Process Management)」、すなわち、「ビジネスプロセスマネジメント」の枠組みにおいて、現状(as is)の業務プロセスを明らかにするための分析手法として誕生したからです。

さて、業務分析では一般に、業務に関わる情報やデータの収集は、主に、各種システム仕様書やマニュアルなどの業務関連書類の閲覧、現場担当者へのヒアリングやワークショップ、ストップウオッチ、ビデオなどの録音・録画機器などを利用した観察調査などを通じて行います。

一方、プロセスマイニングが分析するのは、「イベントログ」と呼ばれるデジタルデータです。イベントログは、業務遂行に利用される各種ITシステムに記録されているシステムの操作履歴データの総称です。

具体的には、資材調達に関わるシステムであれば、「調達要求(申請)」や、「調達申請の承認」、「見積の依頼」といった節目(マイルストーン)となる操作が、年月日時分などのタイムスタンプともに記録されています。

こうした記録は、システム操作における重要な「イベント」と呼ぶことができるので「イベントログ」と総称されているわけですが、プロセスマイニングでは、各種ITシステムから、イベントログを抽出して分析対象とします。

イベントログデータの抽出元となるのは、典型的には、SAP、ORACLEなどの「ERP(Enterprise Resource Planning)」や、CRMシステムです。こうしたシステムから抽出されるイベントログデータの容量は、時に数十~数百ギガとなることから、プロセスマイニングは「ビッグデータ分析」の一種であるとも言えます。(もちろん、プロセスマイニングが分析するイベントログの規模は、必ずしもビッグデータとは限りませんが、ビッグデータを扱う場合には、分析処理スピードなどテクニカルな問題が浮上します)

また、「プロセスマイニング」という言葉から連想できるように、「データマイニング」の一種であると考えるのもいいでしょう。ただし、およびデータマイニングが、あらゆるビッグデータを取り扱う汎用的な分析手法なのに対し、プロセスマイニングは、プロセスに焦点を絞っている点が異なります。

さて、プロセスマイニングが近年大きな注目を集めている最も大きな理由は、業務プロセスの把握、言い換えると「可視化(見える化)」のために、ヒアリングやワークショップといった断片的で主観的な情報ではなく、ITシステムから抽出されたイベントログを分析することにより、ファクトに基づく客観的な業務プロセスの可視化が行える点が挙げられます。

とりわけ、タイムスタンプを取り込むことから、あるプロセスの開始から終了までの総所要時間=スループットは何日何時間何分なのか、また、「調達要求」や「見積依頼」などの個々のアクティビティ(プロセスマイニングの分析においては、イベントは「アクティビティ」と呼びます)の処理時間は何日、何分なのか、アクティビティとアクティビティの間の移行時間=待ち時間は何日、何分なのか、といった業務効率を測定するための数値が計算できる点が、業務改善の手がかりを把握するために有効です。

従来の業務分析では、ヒアリングやワークショップを通じての「事情聴取」であり、業務の遂行手順は把握できるとしても、スループットやアクティビティ単位の処理時間や、アクティビティ間の待ち時間は押えられません。もしこうした時間を測定するとしたらストップウォッチを手にしての観察調査を行わざるを得ず、大変な手間とコストがかかります。しかも、調査件数はせいぜい数十件~数百件のサンプル調査になります。

プロセスマイニングでは、ITシステムから、数十万件~数百万件のイベントログをごっそり取り出すため、実質的な全数調査であり、極めて現実に近い現状把握が可能になるというわけです。

プロセスマイニングの分析手法は、まずはイベントログに基づく業務プロセスの可視化、より具体的に言えば、業務の流れをフローチャートとして描画することからスタートしていますが、研究が進展するにつれ様々な分析手法が開発され、より有益な知見を得ることができるようになっています。

シックスシグマとプロセスマイニング

dmaic & process mining

Six Sigma approach should be used with process mining
English follows Japanese. Before proofread.

率直に言えば、プロセスマイニングは、現状の業務を把握するための業務分析のひとつに過ぎません。

もちろん、従来の現場担当者へのヒアリングや観察調査よりもはるかに正確に、かつ効率的に業務分析を行うことができるのがプロセスマイニングであり、だからこそ近年、急速に注目が高まっています。

企業・組織においてプロセスマイニングが活用される場面は、多くはBPR(Business Process Re-engineering)、あるいは業務プロセス改善(Business Process Improvement)の取り組みであり、プロジェクトでしょう。

したがって、分析手法としてのプロセスマイニングの手順を理解しておくだけでなく、BPR、あるいは業務プロセス改善の手順やフレームワークを理解し、活用することが重要です。

BPR、業務プロセス改善のアプローチに様々なものがありますが、シックスシグマの方法論を土台として採用するのがベストと考えます。

シックスシグマは、トヨタ生産システムの考え方を元に、モトローラが開発した業務プロセス改善手法です。つまり、日本で生まれたフレームワークが多く含まれています。

さて、シックスシグマにおける業務プロセス改善プロジェクトの進め方は「DMAIC」として知られています。以下の5つの活動フェーズの頭文字を取ったものです。

  • Define(定義)
  • Measure(測定
  • Analyze(分析
  • Improve(改善)
  • Control(定着・管理)

それぞれの活動フェーズとプロセスマイニングの関係について簡単に説明します。

Define(定義)

まず、改善した対象のプロセス、また想定される問題・課題を明確化します。基本的には、残業多く従業員が疲弊している、納期遅れなどで顧客からのクレームが増えているなど、現象として把握できる問題を起点として、それがどのプロセスのどこに問題がありそうかの当たりをつけて、改善対象としていきます。

ここは、プロセスマイニングプロジェクトの「スコーピング」、すなわち「分析計画立案」の前提となるフェーズです。

Measure(測定)

現状を把握するために必要なデータ・情報を集めます。前述したように、従来は、現場担当者へのヒアリング、観察調査、また関係者を一同に集めたワークショップを開催して、現行業務プロセスの棚卸しを行うのが定番です。

プロセスマイニングでは、上記のような情報収集方法に加えて、ITシステム上での業務遂行履歴データである「イベントログ」を抽出し、分析対象とします。

プロセスマイニングから得られたプロセスモデル(as isプロセス)は、事実ベースの正確な業務プロセスの再現を可能としますが、システム以外で行われている業務は当然ながら把握できませんので、ヒアリングや観察調査による補完が不可欠です。

Analyze(分析)

前フェーズで得られた情報・データに基づき様々な視点で分析を遂行します。

プロセスマイニングを採用したプロジェクトでは、まずイベントログからのプロセスモデルを元に、業務遂行に時間がかかりすぎている、非効率な箇所や、業務の滞留が発生しているボトルネックを容易に発見できるため、そうした現象としての問題が特定できた箇所について、ヒアリングや現場調査の分析を掘り下げることが可能となります。

プロセスマイニングを採用しない場合、現場ヒアリングは「なにをどのようにやっていますか(What、How)」という問いから始めなければなりませんが、プロセスモデルを見ながらであれば、「なぜこうなるのでしょうか(Why)」の問いが行えるので根本原因の追求が行いやすいと言えます。

Improve(改善)

現象として見える問題・課題(非効率性やボトルネック等)の根本原因が解明できたら、具体的な改善施策を練り、改善活動を行うことになります。実行段階ですから、プロセスマイニングはいったん舞台袖に引っ込むことになりますが、次のControl(定着・管理)に備えて、着々とイベントログは蓄積されています。

Control(定着・管理)

最後は、改善された業務プロセスの定着と管理です。以前より優れた業務プロセスを開発でき、現場に展開したとしても、そのままほおっておくと、再び旧来のやり方に戻ってしまう、ということが起こりえます。

したがって、新しいプロセスが定着するよう、継続的な監視と適切な指導が必要です。ここで、プロセスマイニングを活用すれば、ITシステム上で日々遂行される操作履歴データをリアルタイムで抽出・分析し、現在遂行中の案件についての逸脱や問題個所をすばやく発見、アラートを出すことが可能となりますので、新業務プロセスの確実な定着を促進できるのです。


Frankly, process mining is just a business analysis to get a handle on what’s going on.

Of course, process mining is able to conduct business analysis much more accurately and efficiently than conventional interviews and observational surveys with field staff, and for this reason, it has rapidly gained attention in recent years.

In many cases, process mining is used in BPR(business process re-engineering) or business process improvement projects.

Therefore, it is important not only to understand the procedure of process mining as an analytical method, but also to understand and utilize the procedure and framework of BPR or business process improvement.

There are various approaches to BPR and business process improvement, but I think it is best to adopt Six Sigma’s methodology as a foundation.

Six Sigma is a business process improvement method developed by Motorola based on the Toyota Production System concept. That is, it includes many frameworks that originated in Japan.

The process improvement project at Six Sigma is known as the “DMAIC”. It is an acronym for the following five phases of activity.

  • Define
  • Measure
  • Analyze
  • Improve
  • Control

A brief description of the relationship between each activity phase and process mining.

Define

First, identify the processes that need to be improved, as well as potential problems and issues. Basically, problems that can be identified as phenomena, such as excessive overtime and exhausted employees, or an increase in customer complaints due to delivery delays, are identified and identified as problems in which processes are likely to have problems, and are targeted for improvement.

This is the prerequisite phase of the process mining project “scoping” or “analysis planning”.

Measure

Collect the data and information needed to understand the current situation. As mentioned earlier, it has traditionally been customary to hold interviews with field staff, conduct observation surveys, and hold workshops with all concerned parties to take inventory of current business processes.

In process mining, in addition to the information gathering methods described above, “Event Log”, which is historical data of business performance on IT systems, is extracted and analyzed.

The process model (as is Process) obtained from process mining enables accurate reproduction of fact-based business processes. However, it is of course impossible to grasp the operations that are being conducted outside of the system. Therefore, complementation through interviews and observational surveys is essential.

Analyze

We conduct analysis from various perspectives based on information and data obtained in the previous phase.

In the case of a project using process mining, based on a process model derived from an event log, it is possible to easily find bottlenecks where work is taking too long, inefficient, or stagnating, so that it is possible to delve into the analysis of interviews and field investigations where such problems have been identified.

If process mining is not adopted, field interviews must begin with the question, “What are you doing and how are you doing it? (What, How)” However, if you look at the process model, you can ask the question, “Why does this happen? (Why)” making it easier to pursue the root cause.

Improve

Once the root causes of problems and issues that appear to be phenomena (Inefficiency, bottlenecks, etc.) have been clarified, specific improvement measures will be formulated and improvement activities will be carried out. Since it is the execution stage, the process mining is retracted to the stage, but the event log is steadily accumulated for the next Control (establishment and management).

Control

The last is to establish and manage improved business processes. You can develop better business processes and deploy them in the field, but if you leave them as they are, you can go back to the old ways.

Therefore, continuous monitoring and appropriate guidance are needed to ensure that new processes take root. By utilizing process mining, it is possible to extract and analyze in real time operation history data that is executed on an IT system on a daily basis, and to quickly find deviations and problem points in an ongoing project and issue alerts, thereby ensuring that new business processes are implemented.

プロセスマイニングの基本原理

clean eventlog sample

Very basic principle of process mining algorithm

プロセスマイニングを初めて知った方から、

「イベントログから、どうやってプロセスの流れを示すフローチャートが作成できるのですか?」

という質問をいただくことがあります。

イベントログからフローチャート、すなわち「プロセスモデル」を作成する「アルゴリズム」は極めて技術的な内容であるため、最も基本となるポイントのみを解説したいと思います。

より深く、正確に理解したい方は、Aalst先生の著作、『Process Mining: Data Science in Action』、およびeラーニング講座(Coursera)をご覧ください。

さて、プロセスマイニングツールによってプロセスモデルを作成するために必要なイベントログのデータ項目は、以下の3つです。

  • 案件ID
  • アクティビティ
  • タイムスタンプ

案件IDは、たとえば経理部門での請求書処理プロセスの場合だと、1枚1枚の請求書番号が該当します。所定のプロセスはどの請求書についてののものかを特定するために必要なので案件IDと呼ばれます。

アクティビティは、プロセスを構成する手順を示します。請求書処理であれば、たとえば、「請求書受領」を起点として、「OCR読み込み」、「OCR変換データ確認」、「会計システムへのデータ登録」、「発注金額との突合せ確認」、「上長への支払い承認依頼」といったそれぞれの手順です。

タイムスタンプは、上記各手順が実行されたタイミングを「年月日時分」などの形式で記録されたデータを会計システムから抽出します。

つまり、これら3つのデータ項目には、ある個別の案件に対して、どのようなアクティビティ(操作)がいつ行われたかという情報が含まれているわけです。

プロセスマイニングツールに投入可能な、整備済のイベントログサンプル

ここからが問題です。この3つの項目が含まれたイベントログから、どうやってプロセスの流れを再現するのでしょうか。単純化して言えば、プロセスの流れとしては、アクテイビティの時間的前後関係しか考慮していません。つまり、アクテビティ「A」と「B」の2つがあったとして、AがBよりも早い時間に行われていればA→Bと続く流れになるという、非常に明白なロジックです。

ただし、たくさんの案件を複雑な手順で行っている現実の業務においては、様々な処理のパターンが起こりえます。

わかりやすいように、タイムスタンプを省いて、以下のような4つの案件が含まれたイベントログからのフローチャート作成を考えてみましょう。

CASE_1 (A,B,C)
CASE_2 (A,B,D)
CASE_3 (A,E,C)
CASE_4 (A,B,C,B,C)

ここで、アルファベットは各アクテイビティであり、(A,B,C)のログは、A→B→Cという時間的順番で行われたことを意味します。

まず、CASE_1のログからフローチャートを描きます。

シンプルですね。

次に、CASE_1に加えてCASE_2も考慮します。

A→B→Cだけでなく、A→B→Dというパタンも存在したことがわかったので、BからCとDに分岐するフローチャートが描かれました。

さらに、CASE_1、CASE_2、CASE_3の3つの案件を考慮したフローチャートです。

Aに続くのはBだけでなく、Eが続く手順もあるのでこのようなフローになります。

最後に、CASE_1からCASE_4までのすべてを考慮したプロセスモデルは以下の通りです。

B→Cだけでなく、C→Bと戻る手順も存在していることがわかります。手戻り発生です。

以上の例では4案件だけでしたが、実際の業務プロセス分析では数万件、数十万件の案件のイベントログに基づいて、上記のようなフローチャートを再構成していくわけです。

非常に複雑なプロセスの場合、すべての案件のパリエーションを表すと、ごちゃごちゃしたスパゲッティのような図になります。

そこで、発生頻度の少ないバリエーションを非表示化していき、頻度の多いパターンだけに絞り込んでいけば、典型的な業務手順が見えてきます。

最も発生頻度の高いプロセスモデルのことを「ハッピープロセス」と呼ぶ場合があります。ただ、典型的なプロセスではあるものの、だからといって必ずしも優れた、理想的なプロセスとは限らないことを留意しておく必要があります。

以上、イベントログからプロセスモデルを作成する基本的な考え方について単純化して説明してまいりました。Aalst先生の著作やeラーニング講座によれば、ベントログからフローチャートを作成するアルゴリズムは、非常に難しい課題を抱えていることがわかります。

アルゴリズム自体、アルファ―マイナー、ヒューリスティックマイナー、インダクティブマイナーなど、何種類もあります。そして、用いるアルゴリズムによって、同じイベントログであったとしても描かれるフローチャートの形は異なってくるのです。

商用ツールでは、各社とも最も現実の手順を反映できると考える独自のアルゴリズムをそれぞれ提供していますが、仮に同じイベントログだったとしても、ツールによって提示されるプロセスモデルが異なっている場合があるということを頭に留めておく必要があるでしょう。

プロセスマイニングの不都合な真実(2)

steps from analysis to solution

Hidden truth of process mining(2)
English follows Japanese. Before proofread.

新しいITツールが登場したとき、何でも解決する万能ツールであるかのような幻想を抱く方がいらっしゃいます。

当然ながら、万能ツールは存在しませんし、そもそも、単なる道具ですから、ユーザーの使いこなしのスキルのほうがより重要なわけです。切れ味が最高に素晴らしい包丁があったとしても、包丁の扱いに慣れていなければ、食材をうまく調理できないのはおわかりになると思います。

プロセスマイニングツールも、もちろん万能ではなく単なる分析ツールです。そして極めて大事なことは、分析結果の中に「どうすればよいか」という解決策はないということです。それどころか、「なぜこんなに非効率なのか」、「なぜボトルネックが発生しているのか」という原因も、分析結果からはわかりません。

プロセスマイニングツールに限らず、BIなどの分析ツールによって発見できるのは、「問題の所在」にすぎません。イベントログから描き出されたフロー図、すなわち「as isプロセスモデル」を様々な切り口から分析することで、業務手順のどこに問題が所在するのか、容易に特定することはできます。

しかし、なぜ、そこで問題が発生しているのか、は分析結果は教えてくれないのです。問題の所在を深堀りすることで、問題を発生させている要因を絞り込んでいくことはできます。

たとえば、受注プロセス(O2C)において、受注から納期までのスループット(全体リードタイム)が期待よりも長すぎるという事実を把握し、それは「問題である」と評価したとします。そこで、プロセスマイニングツールを使って、さらに製品別、顧客別などで分析していくことで、どの製品を受注した場合に、あるいはどの顧客の場合に納期が長くなりがちなのか、といったことを突き止めることは可能です。

これは大変有益な情報ではありますが、依然として「なぜ、そうなのか」はわからないのです。「なぜ(Why)」を明らかにしたければ、いや、Whyを追及しなければ、有効な解決策は導けないのですが、現場担当者にヒアリングしたり、観察調査したりする必要があります。

プロセスマイニングを行う究極の目的は分析を行うことではなく、業務プロセスの改善やデジタルトランスフォーメーション(DX)の推進といった経営課題の解決のためでしょう。

ただ、分析手法としてのプロセスマイニングの直接的な目的は、「根本原因の解明」にあります。分析を実行し、問題個所を特定できたからといってすぐに改善施策を考えてはいけません。

たとえば、あるプロセスがやたら時間がかかりすぎている、つまり非効率だという問題が発見できたとします。じゃあ、RPAを導入して自動化すれば効率的になるよね、と安易な改善施策に飛びつく方がいらっしゃるのではないでしょうか。

そもそも、なんでそんなに時間がかかっているのか、現場担当者に聞いてみたら、RPA以前に、予定な手順を省くことで簡単に時間が短縮できた、ということがありえます。

ですから、分析ツールが答えを教えてくれる、という幻想を捨て、分析結果を得たあとは、現場に立ち戻り、泥臭く根本原因の解明に取り組まなければならないのです。根本原因がわかってこそ、対処療法ではない、有効な改善施策の立案が可能となります。

楽しておいしい果実は手に入りません。


As new IT tools emerge, some people have the illusion that they are a universal solution.

Of course, there’s no one-size-fits-all tool, and since it’s just a tool in the first place, user skills are more important. Even if you have a kitchen knife with the best sharpness, you’ll know that if you’re not used to using a kitchen knife, you can’t cook ingredients well.

Process mining tools are, of course, more than one-size-fits-all; they’re just analytical tools. Most importantly, there is no “What should I do?” solution in the analysis. In fact, the results of the analysis do not explain why “Why is it so inefficient?” or “Why bottlenecks?”.

What can be discovered not only by process mining tools, but also by analytical tools such as BI is nothing more than “location of the problem”. By analyzing the flow diagram drawn from the event log, that is, the “as is process model” from various angles, it is easy to identify where the problem lies in the business procedure.

But they don’t tell us why there’s a problem. By digging deeper into the problem, you can narrow down what is causing the problem.

For example, in the sales order process (O2C), you know that the throughput (overall lead time) from the sales order to the delivery date is longer than expected, and you rate it as “matter”. Using process mining tools, we can analyze by product, customer, etc. to find out which products or customers tend to take longer to deliver.

This is very useful information, but we still don’t know the “Why is that?”. If you don’t ask why, you won’t be able to come up with an effective solution, but you need to interview the person in charge of the site and do some observational research.

The ultimate purpose of process mining is not to conduct analysis, but to solve management issues such as improving business processes and promoting digital transformation (DX).

However, the direct purpose of process mining as an analytical method is to “elucidation of the underlying cause”. We should not immediately consider measures to improve the situation just because we have identified the problem areas through analysis.

For example, suppose you discover that a process is taking too long, or inefficient. So, I think there are people who would rush to take easy improvement measures, thinking that it would be more efficient if we introduced RPA and automated it.

In the first place, I asked a field representative why it took so long, and before the RPA, it was easy to save time by skipping the scheduled steps.

So once you get the results, you have to go back and try to figure out the root causes. Only when the root cause is known, it is possible to plan effective improvement measures, not superficial therapy.

プロセスマイニングとデジタルツイン

process mining and digital twin

Process mining can materialize a digital twin of an organization.
English follows Japanese. Before proofread.

「デジタルツイン」は、純粋なテクノロジーとしてはビジネスに適用範囲が限定されるものではありませんが、プロセスマイニングにおいては、「Digital twin of an organization」の略称です。

「Digital twin of an organization」は直訳すれば、「組織のデジタルな双子(片割れ)」となります。

一方、現実の職場、仕事は「アナログな双子(片割れ)」です。アナログな現場では、多くのスタッフが協働しながら業務を行っています。ただ、業務の多くがITシステムで遂行されるようになったことから業務内容がデジタルな足跡(Digital footprint)として残されています。

デジタルな足跡、すなわち「イベントログ」をプロセスマイニングで分析することにより、今まで見えなかった業務内容を可視化することができるようになりました。業務プロセスの流れはフローチャートとして”発見”できます。

プロセスマイニングによって、案件処理数や、アクティビティ単位の「処理時間(サービスタイム)」や前工程から次工程までの移行時間、すなわち「待ち時間(ウェイティングタイム)」なども算出可能であり、業務負荷の高い箇所、業務が滞留しているボトルネックの特定が容易になりました。

また、誰がどんな業務を担当しているのか、誰と誰が業務を通じて連携し、協働しているのかも明確に把握可能です。

重要な点は、ぼんやりとしかわかっていなかった業務の流れや処理件数、所要時間、協働関係などを事実(fact)に基づいて明確化できることです。プロセスマイニングによって見える化された各種のフローチャートや図表は、まさに、組織の在り方、業務内容をデジタルデータに基づいて再現した「デジタルツイン」だと言えます。

デジタルツインを実現するメリットは、現実をファクトベースで正確に把握できることだけではありません。デジタルツインであれば、一部の工程を削除したり変更したらどうなるか、あるいは一部のプロセスをRPAで自動化したら全体にどのような影響が起こるのか、シミュレーションが行えます。

すなわち、どのように業務プロセスを改善すれば、リードタイム短縮化、コスト削減、ボトルネックは解消できるのかを検証したうえで、アナログツイン、つまり実際の現場、現実のプロセスに展開することが可能です。

さらには、ITシステム上に記録され続けているイベントログをリアルタイムでプロセスマイニングツールに流し込めば、現場の業務遂行状況をデジタルツインにおいて監視し、問題点の即時是正が行えます。

以上でおわかりのように、プロセスマイニングは、デジタルツイン実現のために必要不可欠のツール、ソリューションです。


“Digital twin” is not limited to business as a pure technology, but in process mining, it stands for “Digital twin of an organization”.

The literal translation of “Digital twin of an organization” is “one digital half of twins of an organization “.

On the other hand, the other half is “Analog half of twins of an organization” where employees work together in the analog field. However, since much of the work is now performed by IT systems, the work remains as a digital footprints.

By analyzing digital footprints, or “Event Log” through process mining, it has become possible to visualize previously unseen business operations. The flow of business processes can be “discovered” as a flowchart.

With process mining, we can calculate the number of cases processed, the “Processing time (service time)” per activity, and the transition time from the previous process to the next process, i.e., the “Wait Time (waiting time)”, etc., making it easier to identify areas with high workload and bottlenecks with stagnant business.

In addition, it is possible to clearly understand who is in charge of what kind of work and who is collaborating and collaborating with each other through work.

It is important to be able to clarify, based on the facts, the flow of work, the number of processes, the time required, and the functions involved in collaboration that were only vaguely understood. The flow charts and diagrams visualized by process mining are truly “digital twin” that reproduce the way an organization works and the contents of business operations based on digital data.

The benefits of a digital twin are not just accurate fact-based reality. With a digital twin, you can simulate what happens if you delete or change some of the processes, or if you automate some of the processes with the RPA and see the overall impact.

In other words, after examining how to improve business processes to reduce lead time, reduce costs, and eliminate bottlenecks, it is possible to apply the method to an analog twin, that is, a real process.

In addition, by flowing the event log continuously recorded on the IT system into the process mining tool in real time, the work execution situation in the field can be monitored in the digital twin, and the problem can be corrected immediately.

As you can see, process mining is an essential tool and solution for achieving a digital twin.

プロセスマイニングの不都合な真実(1)

deta preparation overview

Hidden truth of process mining(1)
English follows Japanese Before proofread.

最近、業務改革の切り札としてプロセスマイニングに対する関心がますます高まっています。多くの人は、プロセスマイニングのデモで示される「プロセスモデル」、すなわち、イベントログから自動的に作成された業務フローチャート図を目にして「おおっ、すごい」と感嘆の声をあげます。

業務プロセスを可視化するための従来のアプローチであるヒアリングやワークショップの大変さと比較して、ITシステムから抽出したデータから簡単にすばやく業務フロー図が描けるのはすばらしい、と皆さんお感じになるわけですね。

ただ、何事にも明るい側面(Bright side)と、暗い側面(Shadow side)があるものです。プロセスマイニングツールを操作して、今まで見えなかった業務プロセスの流れや業務と担当者との関係が図表でわかりやすく示されるところは「明るい側面」です。一方、導入の心理的ハードルを上げてしまうために、あまり語られない「暗い側面」があります。

暗い側面は実は2つあります。プロセスマイニングツールを操作して実際の分析を行う段階の前に必要な業務である「データ前処理」、そして実際の分析の後に行う「分析結果の評価・解釈」の2つのフェーズです。

プロセスマイニングツールを操作して、ビジュアルな画面を切り替えるのは簡単で楽しいものです。一方、データ前処理、および分析結果の評価・解釈は多大な労力を要します。しかし、プロセスマイニングを通じて業務改革を成し遂げるためには避けて通るわけにはいかないフェーズ。このことは、プロセスマイニングの不都合な真実と言えるでしょう。

今回は、まず、プロセスマイニング分析の前工程である「データ前処理」について解説します。

プロセスマイニングの対象とする業務プロセスを決定したら、その業務プロセスを遂行しているITシステムから、必要なデータを抽出するわけですが、抽出されたデータ(生データ:トランザクションデータ)をそのままプロセスマイニングツールにアップロードすることはできません。

というのも、プロセスマイニングツールにアップロードするファイルは、ノイズなどが除去され、所定のデータ項目が揃ったクリーンなファイルに一本化する必要があるからです。

一般に、ITシステム内のDBから抽出されたデータは年度単位でファイルが分かれていたり、トランザクションファイルとマスターファイルが分かれていたり、データの抜け漏れ(ブランク)や文字化けがあったりと、要するに汚れたデータ、ダーティデータです。

このような複数(しばしば数十本)のダーティデータをクリーンにし1つのデータファイル=クリーンなイベントログに加工する作業が「データ前処理」です。

データ前処理をどのように行うかの説明は別記事で取り上げますが、例えば、ブランクが存在するデータについては一括削除したり、なんらかの補正値を入力したりします。こうした前処理作業を数十万~数百万件の生データに対して行うため、基本的にはデータ前処理のためのツール「ETL」を用います。

ETLはExtract, Tranform, Loadの頭文字を取ったものですが、文字通りデータ抽出からデータ変換(加工)、他のツールへのアップロード、さらには分析機能も持つ多機能なツールですが、プロセスマイニングにおいてはもっぱらデータ変換(加工)に活用します。

私がお勧めしているETLは、「KNIME(ナイム)」というオープンソースのツールです。日本語ローカライズはされていませんが、なんせ無料ですし、直感的な操作を行うことができる非常に優れたツールです。

KNIMEであれば、様々なデータ加工をノンプログラミングで行うことができるため、エンジニアでなくともデータ前処理を実行可能です。もちろん、エンジニアの方がデータ前処理を行うのであれば、SQL、Python、Rなど得意なスクリプトでデータ加工処理を行えば、KNIMEより高速に処理ができるでしょう。

データ前処理の基本的な流れ

データマイニングプロジェクトでは、しばしば、データ前処理にプロジェクト工数の8割ほどが費やされると言われますが、プロセスマイニングプロジェクトでも同様に、データ前処理がプロジェクト成功の鍵を握っています。きちんとしたデータが準備されてこそ、プロセスマイニング分析、また分析結果の評価・解釈が意味のあるものになるからです。


Recently, there has been increasing interest in process mining as a trump card for business innovation. Many people marvel at the “process model” shown in the process mining demos, or business flow charts automatically created from event logs, saying, “Oh, my God.”.

In contrast to the challenges of traditional approaches to visualizing business processes such as interviews and workshops, you find it great to be able to draw business flow diagrams easily and quickly from data extracted from IT systems.

But everything has a bright side (Bright side) and a dark side (Shadow side). When you operate the process mining tool, the flow of business processes and the relationship between business and the person in charge, which has not been seen until now, are shown clearly in the diagram, is “bright side”. On the other hand, there is a “dark side” that is rarely talked about because it raises the psychological hurdle of introduction.

There are actually two dark sides. There are 2 phases: “data preprocessing” which is the work required before the stage of operating the process mining tool and performing the actual analysis, and “Evaluation and interpretation of analysis results” which is performed after the actual analysis.

It’s easy and fun to navigate through process mining tools and switch between visual screens. On the other hand, data preprocessing and the evaluation and interpretation of analysis results require a great deal of labor. However, this is a phase that cannot be avoided in order to achieve business reform through process mining. This is an inconvenient truth of process mining.

In this article, I will first explain “data preprocessing” which is a pre-process of process mining analysis.

Once a business process to be subjected to process mining is determined, necessary data is extracted from the IT system executing the business process, but the extracted data (raw data: transaction data) cannot be directly uploaded to the process mining tool.

This is because the files to be uploaded to the process mining tool need to be unified into a clean file with all the necessary data items.

In general, the data extracted from the DB in the IT system is dirty data or dirty data, for example, the file is divided by the year, the transaction file and the master file are separated, and there are omissions of data (Blank) and garbled characters.

“data preprocessing” is the process of cleaning such multiple (Often dozens) dirty data and processing them into 1 data file = clean event log.

We’ll discuss how to do this in a separate article, but for example, you might want to delete all data with blanks or enter some correction. To perform these preprocessing operations on 100,000 to 1 million raw data items, a data preprocessing tool “ETL” is basically used.

ETL, which stands for Extract, Tranform, and Load, is a multi-functional tool that literally extracts data, transforms it (Machining), uploads it to other tools, and even provides analysis capabilities, but is used exclusively for data transformation (Machining) in process mining.

The ETL tool I recommend is an open source one called “KNIME”. It’s not localized in Japanese, but it’s free and very intuitive.

KNIME can perform various data processing without programming, so even non-engineers can perform data preprocessing. Of course, if your engineers preprocess data, they can do it faster than KNIME by using SQL, Python, R, or other scripts that you’re good at.

In data mining projects, it is often said that data preprocessing consumes about 80% of the project effort. Process mining analysis and the evaluation and interpretation of analysis results become meaningful only when proper data is prepared.

プロセスマイニング入門(0)目次

Introduction to Process Mining (0) Table of Content

プロセスマイニングの歴史から理論的背景、世界・日本のトレンド、事例、導入の具体的手順など幅広く解説していきます。現在の構成(目次案)は以下の通りです。お楽しみに!

プロセスマイニングとは? – What is process mining

プロセスマイニングの歴史 – History of process mining

プロセスマイニングが必要とされるビジネス環境 – Business environments which necessitates process mining

プロセスマイニングの効用 – What process mining can deliver

プロセスマイニングの適用範囲 – Application areas of process mining

プロセスマイニングと関連ソリューション – Process mining and related solutions

イベントログとは – What is a event log

プロセスマイニングのアルゴリズム – Process mining algorithm

プロセスマイニングの4つのアプローチ – Four approaches of process mining

プロセスディスカバリー – Process discovery

コンフォーマンスチェッキング – Conformance checking

プロセスエンハンスメント – Process enhancement

運用サポート – Operational support

プロセスマイニング事例 – Use cases

プロセスマイニングプロジェクトの進め方 – How to manage a process mining project

プロセスマイニングツール – Process mining tools

プロセスマイニングの展望 – Outlook for the future of process mining

プロセスマイニングツール比較検討のための「機能チェックリスト」

function checklist preview

Checklist for functionalities of process mining tool

現在、世界各国でプロセスマイニングに取り組む企業・組織がどんどん増えています。

プロセスマイニングはビッグデータ分析であり、イベントログから、業務手順を再現したフローチャート(プロセスモデル)を作成するためには特殊なアルゴリズムが必要です。このため、一般的なBIツールではなく、プロセスマイニングツールを利用することが求められます。

今のところ、世界には30以上のプロセスマイニングツールがあり、うち、ガートナーのマーケットガイド(2019年版)では、代表的なプロセスマイニングツールとして19個のベンダー・ツールが紹介されています。

日本においては、「データ前処理支援」など、プロフェショナルサービスなどを含めて利用可能なプロセスマイニングツールは現在数種に限定されます。しかし、日本のプロセスマイニング市場も立ち上がりつつあることから、様々なベンダーが日本でのツール提供を開始することでしょう。

さて、プロセスマイニングツール導入を考えているすユーザー企業として悩ましいのは、どのツールがどんな機能を備えているかを確認し、比較検討することが大変だということでしょう。

プロセスマイニング・イニシアティブでは、できるだけ中立的な立場で各種ツールの比較検討をお手伝いできますが、まずは検討対象のプロセスマイニングツールがどんな機能をどの程度備えているかを記述するための「プロセスマイニングツール機能チェックリスト」を無料提供しています。当チェックリストをぜひ欲しいという方は、お問い合わせフォームから、「機能チェックリスト希望」と記入してご連絡ください。折り返し、PDF版をメール添付にてお送りします。

機能チェックリストに掲載している機能項目は以下の通りです。

プロセス発見 – Process Discovery
 頻度分析 – Frequency Analysis
 パフォーマンス分析 – Performance Analysis
 バリアント分析 – Variant Analysis
 フィルター – Filtering
 比較分析 – Comparison Analysis
適合性検査 – Conformance Checking
基本統計量表示 – Process Intelligence(Basic Statistics)
KPI設定 – KPI setting
カスタマイズダッシュボード作成 – Dashboard customization
運用サポート – Operational support
BPMNモデル変換・作成 – BPMN modeling
シミュレーション – Simulation