Seleniumを用いてトルコ投票データベースを作る方法

出版日: 2024年5月1日

皆さんは2024年3月31日にトルコで地方選挙が行われたことをご存知の方もいるかもしれません。これらの選挙は、22年間続いたAKP政権が選挙で初めて敗北したことで世界中に波紋を広げました。選挙の驚くべき勝者はCHPであり、彼らは現在、国の60%を占める都市と国の80%を占める都市を統治しています。

では、これはどのようにして起こったのでしょうか？

背景

トルコのテレビを見ていると、評論家たちは国の経済的理由による不満を感じている退職者のせいでこの敗北を非難しています。

トルコでは、若者の70%以上がCHPの政策を支持しており、一方でAKPは若者の支持を得られていないという一般的な認識があります。したがって、CHPの支持は今後さらに高まると言われています。

評論家は誤った予測をすることが知られており、誤った情報を提供することがあります。データサイエンティストとして、私はこれらの主張が本当かどうかをデータを使用してチェックすることが喜びであり、義務です。

データ

このような分析を行うためには、有権者の年齢構成と投票方法が必要です。通常、この目的のためには費用のかかる調査が行われます。しかし、私たちが使用できる素晴らしい公に利用可能なデータがあります。

トルコ統計研究所（TUIK）は選挙結果データおよび投票者の年齢/性別/教育構成を地区レベルで公開しています。トルコの81の州は973の地区に分かれています。

私たちの目的のためには、年齢データだけを見れば十分であり、若者は約30歳以下の有権者として、退職者はトルコの定年年齢が65歳であるため、65歳以上の人々として表すことができます。

私たちは、TUIKの選挙データベースを見ることでこのデータを取得できます。残念ながら、最新の利用可能なデータは2018年のデータベースです。2018年以降、多くのことが変わりましたが、このデータは大きな有権者のトレンドを垣間見ることができます。

このデータベースの問題は、各地区の個別のレポートを作成する必要があることです。地区レベルのレポートは以下のようになります：

トルコには973の地区がありますので、これは退屈で疲れる作業です。ここでスクレイピングが登場します。

データのスクレイピング

トルコには973の地区がありますので、これは退屈で疲れる作業です。ここでスクレイピングが登場します。

このGitHubリポジトリで、データをスクレイプし、データフレームにまとめ、結果のCSVファイルを生成するために必要なすべてのコードを確認してください。

全体的なアイデアは、セレンを使用して市と地区を切り替え、"レポートをダウンロード"をクリックすることにより、すべての地区をループし、次の地区に移動することです。都市のすべての地区が消耗されると、次の都市に移動します。この方法で、トルコの81の都市と937の地区をループし、各地区についてのレポートをダウンロードします。

from selenium import webdriver
import chromedriver_autoinstaller
from selenium.webdriver.common.by import By
import time
chromedriver_autoinstaller.install()

###### WebDriverを開始
driver = webdriver.Chrome()
time.sleep(1)

###### メインサイトに移動
driver.get("https://biruni.tuik.gov.tr/secimdagitimapp/secimsecmen.zul")
time.sleep(1)

###### 希望の地域のラジオボタンを選択
for span in driver.find_elements(By.CSS_SELECTOR, ".grid-od span"):
    if span.text == "2018":
        span.find_element(By.CSS_SELECTOR, "input").click()
        time.sleep(1)


for span in driver.find_elements(By.CSS_SELECTOR, ".grid-od span"):
    if span.text == "Yurt içi seçmen":
        span.find_element(By.CSS_SELECTOR, "input").click()
        time.sleep(1)

for span in driver.find_elements(By.CSS_SELECTOR, ".grid-od span"):
    if span.text == "Yaş grubu":
        span.find_element(By.CSS_SELECTOR, "input").click()
        time.sleep(1)

for span in driver.find_elements(By.CSS_SELECTOR, ".grid .gc span"):
    if span.text == "İBBS-Düzey4 (İlçe)":
        span.find_element(By.CSS_SELECTOR, "input").click()
        time.sleep(1)

###### 市の中の都市を識別します（全部で81個あるはず）
tables = driver.find_elements(By.CSS_SELECTOR, ".listbox-btable")

for table in tables:
    if "Adana" in table.text:
        cities = table.find_elements(By.CSS_SELECTOR, "td")
        break

city_names = [city.text for city in cities]

###### 地区ごとにデータを保存します
for city in cities:
    city.click()
    time.sleep(2)

    tables = driver.find_elements(By.CSS_SELECTOR, ".listbox-btable")

    for table in tables:
        if "Tüm İlçeler" in table.text:
            districts = table.find_elements(By.CSS_SELECTOR, "td")
            break

    district_names = [district.text for district in districts]
    districts = [district for district in districts if "Tüm İlçeler" not in district.text]
    
    for district in districts:
        district.click()
        time.sleep(1)
    
        # Excelを設定します
        excel =  driver.find_element(By.CSS_SELECTOR, 'span[title="EXCEL"]').find_element(By.CSS_SELECTOR, 'input').click()
        time.sleep(1)
        
        ## データを保存します
        save =  driver.find_element(By.CSS_SELECTOR, 'input[value="Raporu Oluştur"]').click()
        
        ## ログ、スリープ
        print(city.text, district.text)
        time.sleep(1)

データの集計

データを収集したら、937のHTMLファイルが処理待ちです。以下のコードを使用して、データをクリーンアップして統合し、1つの大きなCSVファイルに集約します：

import pandas as pd
import os
from bs4 import BeautifulSoup
import warnings
warnings.simplefilter(action='ignore')

folder = "<TUIKからダウンロードしたファイルのアドレス>"

paths = [f for f in os.listdir(folder) if f.endswith("xls")]
dfs = []

for path in paths:
    with open(f"{folder}/{path}", "r", encoding="iso-8859-9") as f:
        text = f.read()
        soup = BeautifulSoup(text, "html")
        tables = pd.read_html(str(soup.findAll("table")[1]))
        city = tables[0].iloc[0, 0]
        df = tables[2]
        df.drop(1, axis=1, inplace=True)
        district = df.iloc[0, 0]
        df.columns = ["age", "male", "female", "all"]
        df["city"] = city
        df["district"] = district
        df = df[1:]
        for col in df.columns:
            df[col] = df[col].str.replace(".", "", regex=False)
        df = df[df["age"] != "Toplam"]
        df["male"] = pd.to_numeric(df["male"])
        df["female"] = pd.to_numeric(df["female"])
        df["all"] = pd.to_numeric(df["all"])

        dfs.append(df)
        
df = pd.concat(dfs, axis=0, ignore_index=True)
df.to_csv("data.csv", index=False)