「カルチャロミクス」？Ｇｏｏｇｌｅの底力！

【このテーマの目的・ねらい】
目的：
　過去の図書の内容を分析すると、そのほんの一部でも
　こんなことができるという驚きの事実を知っていただきます。
　その実現のインフラを作ったグーグル社の凄さを知っていただきます。
　「へーそうだったのか｣という事実のいくつかを知っていただきます。

ねらい：
　インフラ整備は大事、ビッグデータ分析にはアイデアが大事ということを
　肝に銘じましょう。
ーーーーーーーーーーーーーーーーーーーーーーーーーー
「カルチャロミクス｣とは、カルチャ（文化）を測定し解析する
という意味の造語です。

大量の文献をビッグデータとして計測し、
社会や文化の動態を研究するのです。

この研究をしたのが著者である米国人二人ですが、
その研究の元になる文献の電子化を行ったのは
グーグル社です。

著者二人の研究は、著作権等の制約があったために、
文章としての解析は諦め、
単純に単語としての出現頻度の解析だけをしたことが、
思わぬ成果を生むことになったのです。

その手法がグーグル・Ｎグラム・ビューアです。
単語の出現頻度や概念・思想に言及する頻度が
時間と共にどのように推移したかを図で示すものです。

グーグルは３０００万冊を超える図書を電子化しました。
その方法は、贈呈された本はばらしてスキャナにかけ、
そうでない本はめくる係と写真を撮る係の組み合わせで
写しまくり、それをＯＣＲで読み込んだのです。

大金持ちのグーグルでないとできない気の遠くなるような取組みです。

３０００万冊超はどの英米系の大学図書館よりも上です。

全世界の図書１億３０００万冊の内での３０００万冊です。
（上野注：どの範囲の図書を言っているのか不明です。
日本語の図書が含まれていないことは確かです）

こんなことができるグーグルはとてつもない）会社ですね。
驚きです！！

カルチャロミクスの手法を用いると、
次のような解明ができます。

英語の不規則変化動詞
（Ｂｕｒｎ，Ｂｕｒｎｔ，Ｂｕｒｎｔ、のようにｅｄが付かない）
は次第に規則動詞に変化して行っているようです。


古英語（８００年ごろに使われていた英語）の教科書と
中英語（１２世紀を中心に使われた英語）の教科書を比較しました。


古英語には１７７の不規則動詞がありましたが、
中英語では１４５になっていて、あとの３２は規則動詞になっていた。


残っているのは使用頻度が高い単語で、
使用頻度の低い単語から規則化されていっていることが判明しました。
「言葉は生きている」ことの証明です。

（グラフをクリックすると拡大します）

米国名を示すＵｎｉｔｅｄ　Ｓｔａｔｅｓは建国の頃は複数形で扱われ、
次第に単数形で扱われるようになったのです。
そのグラフは以下のとおりです。

（グラフをクリックすると拡大します）

　

有名人の名声程度（時間軸も含み）を図書での出現頻度で測定する。

（グラフをクリックすると拡大します）

著名人の職業別に、何歳でどの程度有名になっているかを測定する。

（グラフをクリックすると拡大します）

こういうのもありました。

（グラフをクリックすると拡大します）

米国ではより直接的表現になってきているのです。
日本語では、「Ｈ（する）」とぼかしています。
日本人の方が奥ゆかしいですね。


以下は、
この図書の解説者である高安美佐子東工大準教授の解説です。


言葉には、以下の４種類があり、それぞれ生成・消滅の形が異なります。

１．非流行語
　　出現頻度は一定値の回りでランダムに時間的に揺らぐ。
　　（しかし、ともかく、など）

２．流行語
　　時間と共に指数関数的に数年単位で増加し、ピークを迎えて
　　指数関数で減少する。
　　（ＫＹ、パンケーキ、映画タイトルなど）

３．ニュース語
　　突然、不連続的に劇的に増加し、その後べき乗の関数で減少する。
　　（津波、マイケルジャクソン、など）

４．イベント日語
　　特定のイベント日付に向かってべき乗で増加し、
　　その後べき乗で減少する。
　　（クリスマス、こどもの日、など）

利用の限界
Ｎグラムという発想は素晴らしいものですが、
せっかくのビッグな図書データの利用法としては
たいへんもったいないことです。

著作権や個人情報保護に抵触しない範囲で
図書の内容を分析することができるようになったら
人類の文化の進歩についてどれだけのことが分かるようになるのか
想像もできないくらいのことがありそうです。

Ｎグラムの発明の前段の発明として、
「ジップの法則」なるものが紹介されていました。
１９３０年代から１９４０年代までハーヴァード大学に在籍し
独文科の学科長を務めたジョージ・キングスリー・ジップ氏が
１９３７年に発見した法則です。

これは、ユリシーズに出てくる単語の出現頻度の順位と
使用頻度とは逆比例の関係にある。
たとえば、１位と１０位では使用頻度が１０分の１、
５０位と５００位も１０倍の開きがある。
というものです。

このジップの法則は、、
他の新聞記事中の単語、中国語やラテン語で書かれた本の中の単語
でも見られた。
その後の研究で、この規則性は、
既知のあらゆる言語の普遍的構成原理であることが明らかになっている
のです。

凄いことを見つける人がいるのですね！！