PythonとGitフックを使用してサイトマップを自動的に生成する

背景

ウェブ開発者であり、ウェブサイトを作成している場合、サイトを更新するたびに新しいサイトマップを生成する手間がどれほど面倒かご存知でしょう。

これはGoogle Search Consoleにサイトマップをアップロードして、新しいページ/更新されたページが正しくインデックスされる/更新されるようにするためです。

このプロセスは次のようになります:

1. サイトを更新する
2. sitemap.xmlを更新する
3. 変更をプッシュしてサイトをデプロイする
4. 新しいサイトマップをGoogle Search Consoleにアップロードする

このブログ投稿では、GitフックとPythonを使用してステップ2のサイトマップの生成を自動化する方法を提案したいと思います。つまり、Gitを使用して変更をコミットすると、サイトマップが自動的に更新されます。

これを実現するためにGitのpre-commitフックを使用します。これを行えば、手動でsitemap.xmlを更新する必要はありません。常に自動的に最新の状態になります。

参考までに、私はSvelteKitを使用しています。したがって、同じフレームワークを使用している場合、以下で共有するコードをそのまま使用できます。別のフレームワークを使用している場合も、コードをそのまま使えるかも知りません。

方法

1. .gitフォルダを見つける

おそらくすでにお使いのマシンにgitがインストールされていると仮定しますが、されていない場合は心配しないでください。以下のユーザー手順を使用して こちら からGitをインストールしてください。

インストールしたら、ウェブサイトを開発しているフォルダに移動します。既にgitリポジトリを初期化していない場合は、ターミナルで git initコマンドを使用して初期化してください。初期化時には、ターミナルでこのフォルダにいることを確認してください。

gitが初期化されると、.gitという名前のフォルダが作成されます。見えない場合は心配しないでください。ファイルエクスプローラーでは、ピリオドで始まるファイルは通常非表示になっています。MacBookでは、フォルダを表示するには Command + Shift + .を使用できます。以下の画像はこのファイルの内容を示しています:

2. .gitフォルダ内のフックフォルダを見つける

.gitフォルダにアクセスできるようになると、hooksというサブフォルダが表示されます。ここにGitフックが保存されます。

Gitフックは、Gitリポジトリで特定のイベントが発生するたびに自動的に実行されるスクリプトです。これにより、Gitの内部動作をカスタマイズし、開発ライフサイクルの重要なポイントでカスタマイズ可能なアクションをトリガーできます。

最初はフックがなく、このフォルダ内にサンプルフックのみが含まれています:

このサブフォルダ内の各ファイルは、Gitを使用するときの特定のイベントに対応しています。例えば、 pre-commitで決定されたアクションは、コミットが行われる直前に実行されます。これがサイトマップを作成したいタイミングです。

3. pre-commitファイル内のコード

まず、.git/hooks/pre-commit.sampleファイルの .sampleサフィックスを削除し、以下の内容に変更してください:

#!/usr/local/bin/python3

# 上記の行は、Pythonを使用することをGitに伝えます。
# お使いのPython実行可能ファイルが/usr/bin/pythonなど別の場所にある場合は、適宜調整してください。

# 必要なライブラリをインポート
import os
from bs4 import BeautifulSoup
from datetime import datetime

# ウェブサイトをビルドしてリンクを特定する
os.system("npm run build")

# 変数を定義
root = "www.danyelkoca.com"
today = datetime.today().strftime('%Y-%m-%d')

# ウェブサイト内のすべてのリンクを保持するリストを作成
links =  []

# BeautifulSoupを使用してページ内のすべてのリンクを取得する
# https://で始まるサイトを除外する
for path, subdirs, files in os.walk("path/to/your/build/folder"):
 for name in files:
  if name.endswith(".html"):
   with open(os.path.join(path, name)) as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    page_links = [link["href"] for link in soup.find_all("a") if link["href"] and not link["href"].startswith("https") ]
    links += page_links
					

# 繰り返されるリンクを削除する
links = list(set(links))

# ルート（www.danyelkoca.com）用の1つの項目を追加
links += [""]

# 長さでソートする（短いリンクが通常、階層が高いです）
# 例：/en
# /en/works
# /en/works/machine
links.sort(key=lambda s: len(s))

# リンクを使用してxmlを初期化
xml = ""
for link in links:
    xml += f"   <url><loc>{root}{link}</loc><lastmod>{today}</lastmod></url>\n"


# 親要素を追加
xml = f"""<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
{xml}</urlset>"""

# 静的フォルダに保存
with open("path/to/your/static/sitemap.xml", "w") as file:
	file.write(xml)

注意: コミット時にPermission Deniedエラーが発生した場合、それはGitがコードを実行したりファイルを変更したりする権限がないことを意味します。以下を実行してGitに権限を与えてください:

chmod +x .git/hooks/pre-commit
chmod +x /usr/local/bin/python3

基本的には、gitフックファイルとpython実行可能ファイルに権限を与えています。Python実行可能ファイルが他の場所にある場合は、パスを適切に変更してください。

結果

変更をステージングしてgit add .を使用し、変更をコミットしてください git commit -m "message"、上記で定義されたコードが .git/hooks/pre-commitで実行されます。その結果、sitemap.xmlが静的フォルダに保存されます。

コードは機能し、期待どおりに以下のようなファイルが作成されます（整形されています）:

きれいですね？

一度sitemap.xmlが生成されると、そのファイルは元のコミットの後に作成されるため、変更を再びステージングしてコミットするのを忘れないでください。

結論

このブログ投稿では、Pythonを使用してGitのpre-commitフックとしてサイトマップの生成を自動化する方法を考案しました。

上記の共有コードを使用することで、作業量を削減し、代わりにビールを楽しむことができると思います :)

ハッピーハッキング！