何が大事（点数評価の落とし穴）

新国立競技場の建て替えについて、当初案に建設費がかかりすぎるという問題が浮上し再検討となりました。そして代替案のＡ案・Ｂ案のうちからＡ案が採用になりました。

その決め手になったのは次の評価だそうです。

《画像クリックで拡大、←クリックで戻る》

Ａ案610点、Ｂ案602点ということで僅か8点差でＡ案に決まりました。

このもっともらしい点数評価のやり方はいろんなところで使われていますが、ちょっと眉に唾をつけながら見た方が良さそうです。
実はこの方法は恣意的に結果を誘導することも可能なんです。

reizanが通う生涯大学校も当初は県の直営でしたが、今は指定管理者制度が導入されて応募してきた会社・共同事業体を点数評価して指定管理者を決めています。
こちらは必須項目と一般項目に分けて評価しています。

《画像クリックで拡大、←クリックで戻る》

《画像クリックで拡大、←クリックで戻る》

生涯大学校の方を例にして考えてみたいと思います。

必須項目に点数評価があるのが理解できません。必須ということは言い換えれば絶対条件です。
これは叶っているか叶っていないかであって、要は〇か×かしかないはずです。
単純に〇×では答えられないとしたらそれは評価項目の設定が間違っています。必須項目のところにもっともらしく数字が入っているのを見ると笑えます。

一般評価の方は相対条件の達成度合いを評価していると考えられます。だからこちらは点数で良いのですが、各評価項目のウエイトが同じというのが変です。

例えば、Ａの項目で5点と10点の二社があって、Ｂの項目は10点と5点だったら、それぞれの合計点は15点ずつで同点です。
でも実際の場面では、Ａ項目の方がＢ項目よりも倍ぐらい重要度が高い条件だというようなことは普通にあります。この重要度をウエイトといいます。

だから、相対条件の項目が出揃ったら各評価項目のウエイト付けをしないといけないのです。この項目のウエイトは１０、これは５、そうするとこっちは７という具合に決めるわけです。
ちょっと考えればわかると思いますが、このウエイトを決めるというのは実は大変難しいです。だから評価者が合議をして皆が妥当だと思うウエイト付けをしないといけません。

それが決まったら評価者一人ひとりが自分の判断で各項目ごとに点数を付けます。そして各社の項目ごとの合計点数にそれぞれのウエイトの数字を掛けあわせます。こうやって計算して得られた数字を各社ごとに合計します。その合計点数が相対評価の対象数字になります。かけ算が入りますから結構差が開きます。

言葉だけの説明ではわかりにくいと思いましたのでサンプルを作ってみました。

《画像クリックで拡大、←クリックで戻る》

絶対条件に一つでも×があれば相対評価をする価値はありませんからＢ社は消えます。
相対評価の値は、各項目の評価点（＝ウエイト×素点）の合計です。上の例ではＡ社の合計点が一番大きいのでＡ社を採用します。

相対条件に対して他社よりも劣る項目もありますが、ウエイトの高い大事なところで高得点を得ていることで合計点が上がっています。実は素点の合計はＡ社もＣ社もＤ社も揃って80点です。ウエイトを加味しなかったらジャンケンで決めるしかないところでした。

これはreizanの想像ですが、お役所でこのウエイトを加味した評価方法が採用されたとしても、多分、評価項目やウエイトは判定が下るまで秘密扱いにされるのだろうという気がします。（勝手な思い込みですみません。）
でも、reizanだったら事前にオープンにします。だって、本当に欲しいのはどういうものか、どういう点を大事と思っているかを知ってもらった上で応札してもらった方が得じゃないですか。

評価の際のウエイト付けの重要性を知ってしまうと国家的な事業も県の事業も結構いい加減な評価をしていることが分かります。
だからreizanから見ると恣意的というか最初から結果ありきに見えてしまうのです。