※この記事は2021/06/17に更新しました。
０，なぜこの記事を書くのか
同じ検索ワードを使っても、検索エンジンによって返す答えは違います。それぞれの検索エンジンには、それぞれの検索アルゴリズムがあって、ある種の情報が出やすかったり出にくかったりします。フィルターバブルです。情報源は少しでも多様に、という要求にこたえるため、同一の検索ワードに対する結果を、複数の検索エンジンで比較し、どの検索エンジン同士が似た結果を返すのか、考察します。あくまで具体的な検索結果を数通り用意して、帰納的に推測するだけですが。
フィルターバブルを完全に避けることは不可能ですし、フィルターバブルの回避≠多数派の採用です。肝心なのは、自分がどのような偏り方をしているか自覚することです。偏らないことではありません。
使用される検索ワードは、政治・経済・安全保障・歴史といった分野に絞ります。エンタメのような、フィルターバブルがあったところで特に問題ない分野は無視します。
１，簡単な結論
結論だけ先に言っておくと、
検索エンジンのイデオロギーは、2つのクラスターと２つのボッチという構図になる。
と推測しました。
一つ目のクラスターは ノートン/SearX/Startpage/start.me/YAHOO! JAPAN
その近くに Gibiru
二つ目のクラスターは Bing/Ecosia/DuckDuckGo/metaGer/swisscows/yahoo!/metaGer
残るSAGOOLがボッチ。
こんな感じです。
２, 対象となる検索エンジン
検索アルゴリズムがほぼ同じだと公言されているものは、
という風に表現します。また、私の主観的な検索の精度の評価を、良い順から◎○△×の４段階で表します。○あれば十分実用に耐えると思います。yahoo!は日本語検索に弱い感じ。検索エンジンAのアルゴリズムが検索エンジンBと同じという意味です。比較対象になる検索エンジンは以下の通りです。
・Bing ○
・DuckDuckGo ○
・Ecosia △
・Gibiru △
・Google ◎
・metaGer ×
・SAGOOL ×
・SearX ○
・start.me ◎
・swisscows ○
・Yahoo! Japan (Google) ◎
・yahoo! △
・ノートンセーフサーチ ◎
swisscowsは地域の選択で日本を選び、DuckDuckGoは地域を指定していません。ほかのエンジンは、何も操作していない時の状態です。(yahoo!などは、ログインしてなくても位置情報をとっているように見える検索結果だったりします。詳しいことは知りません。各自調べてください。)
３, 実験
3-0，手法(読まなくても全然問題ありません)
「実験手順を公表しないのは怪しい」と思われたくないので書いておきます。手順に興味ない人はスキップしてください。
EcosiaとStartpageは、ユーザーによって検索結果を変えないようです(公式曰く)。StartpageはGoogleのパーソナライズしないバージョンらしい(使っていてもそう思います)ので、Googleを実験の対象から除外し、Startpageで代用します。YAHOO! JAPANの中身もほぼGoogleらしいですが、今回は別で扱います。また、トップに表示されるPR・広告は無視します。
検索結果の類似度の評価は、定量的に行うため、以下の方法で行いました。
検索エンジンごとに、検索準位1位に10点、2位に9点、3位に8点、、、、10位に1点を付けます。検索上位10位までのリンクを二つの検索エンジンで比較し、共通するURLへのリンクについて、それぞれの点数の積和を計算します。そして、この積和を、Σ i^2 (i=1~10) で割って、0から1の間に収まるように正規化します。なぜか同じページへのリンクが複数回出現することがあるります。その時は正規化後も1より大きい値になることがあります。
例えばyahoo!で1位のリンクがGoogleでは３位だったら、10点×8点＝80点として、他のリンクについても同様に計算して和をとり、正規化します。
検索準位が上位のリンクほど、類似度の指標に大きく影響するようにしてあります。
類似度の評価の計算は、以下のPythonコードを走らせて実行しました。
私の技術不足により、URLの入力は手動です(泣)。
上の関数を使って計算を実行する様子がこちら。
類似度の評価計算は、以下のように出力します。似ていれば1に、違いが大きければ0に近づきます。
同じURLへのリンクではないからといって、違う思想とは限らないですが、検索エンジンのイデオロギーを分類するのにこの手法がどの程度あてになるのかは、下に列挙する、実験結果の画像を眺めて、あなたが判断してください。私の感想は「いい感じ」でした。
コードをコピペして同じ実験をしてみたい方は、こちらのリンク先のmain.ipynbを開いて、中身をコピペして、Jupyter NotebookなりGoogle Colabなりで実行してみてください。URLをコピペする作業は地味に大変です。
3-1, キーワード：フィルターバブル 対策方法
まずは ”フィルターバブル 対策方法” で検索した結果を示します。この記事の存在目的です。最初に、類似度の評価表を挿入します。0に近いほど全然違う、1に近いほどそっくりです。
一つ目のクラスターは ノートン/SearX/Startpage/start.me/YAHOO! JAPAN
二つ目のクラスターは Bing/DuckDuckGo/Ecosia/swisscows/yahoo!
Gibiru、SAGOOL、metaGerがそれぞれ独自路線
と評価します。
検索が似た結果だったものは同じ画像にまとめて提示します。
3-2, キーワード：Google 検閲 日本
続いて、 "Google 検閲 日本" で検索しました。類似度の評価表はこちら
一つ目のクラスターは ノートン/Startpage/start.me/YAHOO! JAPAN
その近くにGibiru、SearX
二つ目のクラスターは、 Bing/DuckDuckGo/yahoo!
その近くにmetaGer、swisscows
さらに少し離れてEcosia
残るSAGOOLは完全ボッチ
と評価しました。
以下は検索上位の画像キャプチャです。検索上位が似たものは同じ画像にまとめました。
検閲といえば中国が有名ですが、日本では行われていない、わけないですよね。。。日本では検閲なんてないと思っているなら、世間知らずもいいとこです。もっとも、日本で行われる検閲はそのほとんどがさりげないものであって、それは例えばコンプラNGだったり、情報発信元の自主規制だったりするわけですが。
3-3, キーワード：日本 借金
続いて、 "日本 借金" で検索しました。
類似度の評価表はこちら
一つ目のクラスターは Gibiru/ノートン/SearX/Startpage/YAHOO! JAPAN
比較的近くにstart.me
二つ目のクラスターは Bing/DuckDuckGo/Ecosia/yahoo!/swisscows
比較的近くにmetaGer
残りのSAGOOLは、過疎地で悠々自適な暮らしをしているようです。
上と同じく、検索上位が似たものは同じ画像にまとめました。
私自身、経済に関する知識が全くなかったころ、「日本の借金がこのまま増え続けると、いずれ経済が破綻する」とは、いったい何が起こるのか、前兆は無いのか、そのあたりを調べようとして、このようなキーワードを使っていた記憶があります。今となっては、アホなキーワードだなー と思っちゃいますね。懐かしい。最近は昔と比べてかなりまともな記事が増えてうれしい限りです。あとは、興味を持って調べてくれる人が増えさえすれば。というところですが。
3-4, キーワード：GDP成長率 政府支出 因果関係
経済のお勉強です。 "GDP成長率 政府支出 因果関係" で検索しました。
類似度の評価表はこちら
一つ目のクラスターは ノートン/SearX/Startpage/start.me/YAHOO! JAPAN
比較的近くにGibiruとSAGOOL
二つ目のクラスターは分散が大きいですが Bing/DuckDuckGo/Ecosia/swisscows/yahoo!
比較的近くにmetaGer
検索上位が似たものを同じ画像にまとめました。
3-5, キーワード：地球温暖化 CO2 因果関係 証拠
類似度の評価表はこちら
一つ目のクラスターは ノートン/SearX/Startpage/start.me/YAHOO! JAPAN
三つ目のクラスターは Bing/Ecosia/DuckDuckGo/metaGer/swisscows/yahoo!
検索結果が近いものは1枚の画像にまとめて、以下に検索上位のキャプチャを示します。
こんな検索ワードを選ぶだけあって、私は、「地球温暖化の主要な原因は人間の排出したCO2だ」という説明を疑っています。
数千年レベルの長期間で温度と大気中のCO2濃度を推測した研究が、大気中のCO2濃度と気温に相関がないことを示している。
と知ったことと、
CO2よりも強い影響があるはずの水蒸気の影響を考慮した言説を、ほとんど聞いたことが無かったこと
がきっかけです。CO2が(弱いとはいえ)電気的な極性があり、赤外線→分子の伸縮や回転のエネルギー→分子の運動エネルギー≒温度 という感じで温室効果を持つんだろうなーとは思っていますが、主要な原因といえるかどうかはまた別の話。シミュレーションを使って証明されましたなんて言われても、現実を説明するシミュレーションを作ることがどれほど困難なことかを考えると、そして恣意的なモデルを作ることもできることを考えると、信じ切ることができないのです。「でも気温とCO2濃度が同時に上がってるじゃないか」というのは分かりますが、ヒートアイランド現象の影響が小さいと思われる地域に限定して気温変化を見ると自然現象の範囲を超えて温暖化している証拠がそもそもなかったり(数十年で1度程度の平均気温上昇は、地球の歴史上少しも珍しくありません。)、今よりCO2濃度が10～100倍程度高かったと推測される時代の気温が今とあまり変わらないと主張する論文が複数あったり、気温の変化が先・大気中のCO2濃度が後で変化したとの主張の論文があることなど、色々な反論材料があります。仮に地球温暖化が大問題だったとして、その原因を間違えて対策していたとしたら、人類はひどい目に合うわけですからね。そこで、今回のキーワード＝”地球温暖化 CO2 因果関係 証拠” で検索。まぁ、この手の話を調べるときはScholar＋英語使えって感じなんですけども。私自身は「温暖化の原因が人間の排出するCO2だ」とする説について態度保留(やや肯定気味)ですが、あなたはどうですか？
3-6, キーワード：グリホサート 残留基準 安全 証拠
次は食の安全。最近(2021年の感覚)、種子法種苗法が一部界隈で騒がれましたが、この国に食糧安全保障の概念は存在しないのでしょうか。食料自給率を下げるであろう法改正を繰り返すなど、イカレてる。そんな愚痴はともかく、キーワード、”グリホサート 残留基準 安全 証拠”で検索。グリホサートは、商品名ラウンドアップの除草剤の主成分です。ベトナム戦争の時に巻かれた枯葉剤の成分らしいです。残留濃度が高すぎる場合、健康を害することは間違いないのですが、ではどの程度の低濃度なら数十年間摂取し続けてもリスクを無視できるのか？規制値以下であれば間違いなく安全だと思えれば、数ある心配事の一つが解消されるのですが、果たして。。。。。
類似度の評価表がこちら
一つ目のクラスター Gibiru/ノートン/SAGOOL/SearX/Startpage/start.me/YAHOO! JAPAN
二つ目のクラスター Bing/Ecosia/DuckDuckGo/metaGer/swisscows/yahoo!
綺麗に二極化しました。検索上位のキャプチャがこちら
日本モンサント株式会社あたりが、一般向けに記事を書いてるかと思ってましたが、見つかりません。Google ScholarやScience Directなどの、論文を検索するエンジンを使わなければ、この手の情報は出てこないようです。論文あさりを少しだけしたことのある私の肌感は、「安全派も危険派も、正しいことを言っているように見える」でした。全体的に見て、モンサント関係者は安全派、関係ない人は危険派という傾向はあるようです。当然か。
４, イデオロギー・クラスターの推測
数パターンの検索ワードだけで、検索エンジンのイデオロギー・クラスターを推測します。
検索エンジンイデオロギーは、2つのクラスターと２つのボッチという構図になると推測しました。
一つ目のクラスターは ノートン/SearX/Startpage/start.me/YAHOO! JAPAN
その近くに Gibiru
二つ目のクラスターは Bing/Ecosia/DuckDuckGo/metaGer/swisscows/yahoo!/metaGer
残るSAGOOLがボッチ。
こんな感じです。
５，個人的感想
以前と比べ、DuckDuckGoの検索の精度が向上してる気がします。あと、予測変換が出るものに限りますが、検索エンジンが変われば(例えばDuckDuckGoとGoogle)、履歴とは関係なく予測内容が異なるのが、面白いところです。
あと、一時期からGoogleは、検索ワードそのままの記事を検索結果に反映させる確率が下がった気がします。検索アルゴリズムを大幅に変えたとニュースになった頃からです。検索ワードを一生懸命考えて、ワードそのままの答えを求めることが多いので、私にとっては使いづらい。
Google/Startpage/start.me/ノートンセーフティーサーチ/YAHOO! JAPAN
は、”行政機関＆ニュース発信系企業の情報を優先します感” がムンムン。行政やマスコミの情報を優先すると、個人が発信する情報よりは確かなことが多いでしょうが、情報の多様性は低くなるんですよね。公的な機関ほど、アクセス数の多いサイトほど「コンプラNG」を気にするもので、そのコンプラを普及させているのは他ならぬ彼ら自身だったりするので。一長一短といったところ。最初にGoogle使ってメインストリームを知って、次にDuckDuckGoやBingを使って少数派を拾う、というのが正解かも。
SAGOOLとmetaGerは、単純に精度がいまいちかな。
Googleだけだと怖い。フィルターバブル対策で複数の検索エンジンを併用したいけど、全部使うのは面倒。そんな感性の持ち主は、
Google/Yahoo! Japan/Startpage/start.me/ノートンセーフティーサーチ の中から一つ、
Bing/Ecosia/DuckDuckGo/swisscows/yahoo! の中から一つ、
Gibiruを補助的に使う、
というのが良いしれません。
６, 終わりに
フィルターバブルを意識し、対策するための手助けになる情報だったと思います(自己評価高めで行かせてもらいますよ)。フィルターバブルの存在を実感するだけで、同じ情報を見ていても感想が違ってくるものですし、どの検索エンジンを組み合わせて使えば有効なフィルターバブル対策になるのか？という疑問に答えるときも、一定の参考資料になると思います。
この記事はVivaldiというブラウザを使って書いたのですが、このVivaldiは同じワードで複数手の検索エンジンを使うのが簡単です。ウィンドウを一つしか開いていない状態で画面分割もお手の物。
いちいち使い方説明するつもりはありませんが、便利さのあまり他のブラウザをメインにすることができない体になってしまったので、自信を持ってお勧めできます。最後に雑にVivaldiの宣伝してしまったぜ！
