Masteries

技術的なことや仕事に関することを書いていきます.

小ネタ: Gitでコミットメッセージ書いてる最中にコミットを取りやめる

だいぶ昔のツイートなのですが, さっき知ったので忘備録的にブログに書いておきます.

CLIでGitを操作してて, commit logはnvimで書いてるんですが, たまにgit commit した後に「あ, commitするbranch間違えた...!」みたいに気づくことがあって困ることがありました.

mattnさんのツイートにもあるように, :cq で閉じると,

hint: Waiting for your editor to close the file... error: There was a problem with the editor 'nvim'.
Please supply the message using either -m or -F option.

となって, コミットすることなくnvimを閉じることができます.

Perl 5.35.7 の builtin を試してみる

この記事は, 「Perl Advent Calendar 2021」の22日目の記事です.

qiita.com

昨日はtecklさんの「Perlアプリケーション + AWS Lambda + API GatewayでWebhookを受ける」でした.

qiita.com

Perl 5.35.7 で builtin を試してみる

metacpan.org

Perl 5.36に向けた開発版の現時点での最新版, Perl 5.35.7 では, builtinというユーティリティを提供するプラグマが提供されています. 特に注目すべきはtrue, false, isboolの提供でしょう. ということで, 実際にインストールして試してみます.

shogo82148.github.io

を参考に, 次のように5.35.7をインストールします:

plenv install 5.35.7 -Dusedevel

さあ, 試してみましょう. まず, そもそも truefalseは何を返すのでしょうか?

use strict;
use warnings;
use builtin qw(true false);
use feature qw(say);

my $true = true;
my $false = false;

say "'$true' / '$false'"; # => '1' / ''

このように, true!!1ないし!0(This gives an equivalent value to expressions like !!1 or !0.), false!!0ないし!1(This gives an equivalent value to expressions like !!0 or !1.)と同値となる値が得られるようになっています. Perlで真偽値を扱う時に, !!1!!0はよく使いますが, Perlの入門者からすると「これは一体...?」となりがちでした. これをtrue/falseで表せるのは大変嬉しいですね.

一方で, true/falseをJSON::XSなどでJSONに変換する時は注意が必要です:

use strict;
use warnings;
use builtin qw(true false);
use feature qw(say);
use JSON::XS qw(encode_json);

my $true = true;
my $false = false;

say encode_json({ true => $true, false => $false }); # => {"true":"1","false":""}

JSON::XSでは(デフォルトでは), \1true, \0falseとなるように変換してくれます. このため, \1 !=0 !!1, \0 != !!0であるため, true"1"に, false""に変換されてしまいます.

use strict;
use warnings;
use feature qw(say);
use JSON::XS qw(encode_json);

say encode_json({ true => \1, false => \0 }); # => {"true":true,"false":false}

このシンプルな解決策としては, JSON::Typesのboolを使うといった作戦がありそうです.

use strict;
use warnings;
use builtin qw(true false);
use feature qw(say);
use JSON::XS qw(encode_json);
use JSON::Types qw(bool);

my $true = true;
my $false = false;

say encode_json({ true => bool $true, false => bool $false }); # => {"true":true,"false":false}

また, このbuiltinプラグマでは, これまでScalar::Util で提供されていた blessed や weakref などが提供されるのも若干嬉しいポイントですね. 加えて, 真偽値かどうかの判定に使える, is_boolなども提供されています.

感想としては, 前述した通り!!1!!0というPerlで真偽値を扱う時の「よくある(が見慣れない)表現」をtrue/falseで書けるようになるのは嬉しいですね. 一方で, JSONにencodeする時の扱いは引き続き気をつける必要がありそうです. この辺りもいい感じになれば, 更に便利! という感じがしそうです.

明日は...

id:hitode909 さんです. よろしくおねがいします.

お詫びと御礼

何を言っても言い訳になるのですが, 最近頭痛が激しくて少し軽めの記事になってしまいました... 申し訳ありません. 元気になったらもうちょっと加筆します.

また, builtin の登場は会社のSlackで id:nanto_vi さんに教えてもらいました. この場を借りて御礼申し上げます.

Perlで @EXPORT を @EXPORT_OK に置き換える

この記事は「はてなエンジニア Advent Calendar 2021」の12日目の記事です.

qiita.com

昨日は id:cohalz の「distrolessのnonrootイメージを使おう」でした.

cohalz.co

関数のエクスポート

Perlのパッケージには, "エクスポート"という概念があります. 例えば, 次のようなモジュールがあったとしましょう:

package MyPkg;

sub f1 { ... }
sub f2 { ... }
sub f3 { ... }

パッケージMyPkgに定義されたf1, f2, f3の関数をパッケージの外から呼び出すには, 通常次のように呼び出す必要があります:

use MyPkg;

MyPkg::f1();
MyPkg::f2();
MyPkg::f3();

いちいち MyPkg を書くのは面倒, ということで用意されたのが Exporter モジュールです.

metacpan.org

このモジュールを使うと, グローバル変数@EXPORT自動的にエクスポートする関数を, @EXPORT_OKエクスポート可能な関数 を, それぞれ定義することができます. 例えば, MyPkgExporter を使って, 次のように書き換えたとしましょう:

package MyPkg;

use Exporter 'import';
our @EXPORT = qw(f1 f2);
our @EXPORT_OK = qw(f3);

sub f1 { ... }
sub f2 { ... }
sub f3 { ... }

この場合, f1, f2 の関数は自動的にエクスポートされるため, 次のようにして呼び出すことができます:

use MyPkg;

f1();
f2();
f3(); # 関数 f3 は @EXPORT で指定していないため呼び出せない(存在しない関数を呼び出したことになる)

f3 を呼び出したい時は, 次のようにMyPkguseするときに, 「この関数を利用します」と指定しなければなりません:

use MyPkg qw(f3);

f3(); # use するときに, f3 を呼び出せるよう設定しているので呼び出せる

@EXPORTの問題点

@EXPORT@EXPORT_OK, どう使い分けるべきでしょうか. 先程の例では, Exporterモジュールを使って関数をエクスポートしているパッケージが, MyPkgだけだったので, どちらでも問題ないように思えます. しかし, 複数のパッケージでExporterモジュールを使い, @EXPORTで関数をエクスポートしていると, どうなるでしょうか.

use MyPkg1;
use MyPkg2;
use MyPkg3;

exported_function();

パッと見で, 「exported_functionはどのパッケージで定義されているんだ...?」となりますよね. このため, Perl::Critiでも Perl::Critic::Policy::Modules::ProhibitAutomaticExportation というルールが用意されていて, @EXPORT を使って関数をエクスポートしようとすると警告してくれるようにすることができます.

metacpan.org

@EXPORT を @EXPORT_OK に置き換える

これを自動的に置き換えるにはどうすればいいでしょうか. 今回はPerlの静的解析ツールであるところのPPIを使って解決しました:

metacpan.org

use strict;
use warnings;

my $pkg = 'Foo';
my $path = 'lib/Foo.pm';

# $pkg においてエクスポートされている関数の名前を取得する
my $exported_function_names = get_exported_function_names($pkg);

# `git grep` を使って, $pkg を使っているファイルを探す
my @files_using_exported_function = split /\n/, `git grep --name-only --word-regexp 'use $pkg;' t/`;

# `replace_file` で, $pkg を使っているファイルについて利用する関数を明示するよう書き換える
replace_file($_, $exported_function_names) for @files_using_exported_function;

# $pkg の @EXPORT を @EXPORT_OK に書き換える
replace_export_ok($path);

# スペシャルサンクス: id:mackee_w & id:xtetsuji
# この関数で行っている, 変数でパッケージ名を指定してグローバル変数を読み出す方法がわからなかったのでアドバイス頂きました
sub get_exported_function_names {
    my $pkg = shift;
    no strict qw(refs);
    return [ @{ $pkg . '::EXPORT' } ];
}

sub replace_export_ok {
    my ($path) = @_;

    my $document = PPI::Document->new($path);

    my $export = $document->find(
        sub { $_[1]->isa('PPI::Token') && $_[1]->content eq '@EXPORT' }
    );

    return undef unless $export;

    $export->[0]->set_content('@EXPORT_OK');
    $document->save($path);
}

sub replace_file {
    my ($path, $exported_function_names) = @_;

    my $document = PPI::Document->new($path);

    # $exported_function_names に存在する関数のうち,
    # $path で実際に使っているものを探す
    my $used_exported_function_names = $document->find(
        sub { $_[1]->isa('PPI::Token') && any { $_[1]->content eq $_ } $exported_function_names->@* }
    );

    return undef unless $used_exported_function_names;

    my $unique_used_exported_function_names = [ uniq sort map { $_->content } $used_exported_function_names->@* ];

    # $pkg を use している部分を探して...
    my $use_statement = $document->find(
        sub { $_[1]->isa('PPI::Statement::Include') && $_[1]->module eq $pkg }
    )->[0];

    my $package_word = $use_statement->find(
        sub { $_[1]->isa('PPI::Token::Word') && $_[1]->content eq $pkg }
    )->[0];

    # `use $pkg;` を `use $pkg qw( ... );` のように書き換える
    # ... は $path で実際に使っているエクスポートされた関数の名前になる
    $package_word->insert_after(
        PPI::Token::Word->new(sprintf(" qw(%s)", join(' ', $unique_used_exported_function_names->@*)))
    );

    $document->save($path);
}

この例では, lib/Foo.pm にあるパッケージFooにある@EXPORT@EXPORT_OKに置き換えています. lib/Foo.pmだけでなく, Gitのgit grepを使って, 実際にFooを使っているファイルの中身も書き換えて, 置き換え後も正しくテストが通るようにしています. 実際にとあるPerlプロダクトで試してみましたが, 95%くらいはこの素朴なスクリプト(をベースにしたスクリプト)で一括置換することができました.

実は今回始めてPPIを使ったのですが, ドキュメントとにらめっこして1時間ちょっとくらいで素朴な置き換えスクリプトが実装できて便利でした(ので, おそらくもっと良い書き方はありそうです). PPIを使うことで, こういった細かい気になりポイントをガッとリファクタリング出来ることがわかったので, これからも良いアイデアが浮かんだらやっていきたいと思いました.

明日の担当は...

id:Windymelt さんです. よろしくおねがいします.

blog.3qe.us

Gitで特定のbranchのみcommit/push出来ないようにする

小ネタです. Gitで開発をしていて, 特定のbranchのみcommit/pushしたくない, という場合があるかと思います. 例えばmainブランチにはcommit/pushしたくない, など.

これを実現するには様々な方法がありそうですが, 自分はGitのhookの機能を使って実現しています. 今回の場合, 「commitしたくない」を実現するためにcommit前に発火するpre-commitのhookを, 「pushしたくない」を実現するためにpush前に発火するpre-pushのhookを使えば良さそうです. 例として, mainブランチについてcommit/pushをしたくないという場合には, 次のようなスクリプトを設置するとうまくいきます(commit/pushしようとすると, メッセージを出力した上で強制的に中止してくれます).

.git/hooks/pre-commit

#!/bin/sh
# mainブランチにはcommitできない
if test "`git symbolic-ref HEAD | sed -e 's:^refs/heads/::'`" = 'main'; then
    echo "cannot commit on main branch."
    exit 1
fi

.git/hooks/pre-push

#!/bin/sh
# mainブランチにはpushできない
if test "`git symbolic-ref HEAD | sed -e 's:^refs/heads/::'`" = 'main'; then
    echo "cannot push on main branch."
    exit 1
fi

あわせてよみたい

papix.hatenablog.com

ISUCON11 「天下n品」で予選参加して敗退しました

同僚の id:stefafafanid:masawada と共に「天下n品」で参加して, 予選敗退しました. 最終スコアは 33,586点とのこと.

自分がやったこととしては「Redisの活用を試みた(なお, スコアの上昇には寄与しなかった模様)」の一言に尽きます. その他やったことは, チームメンバーがエントリに詳しく書いてくれたのでそちらをご覧いただければと思います.

stefafafan.hatenablog.com

masawada.hatenablog.jp

感想

  • 事前に準備できるところを準備しておくことができてよかった
    • ISUCON, 予め準備できる部分(初動やツールの用意)とそうでない部分(問題を見て, 臨機応変に対応していく部分)がある... と思っていて, 前者についてはある程度事前に準備と練習ができたし, まだまだ改良の余地はあるものの素早く完了して, 後者の問題に取り掛かることができた
    • チームメンバーが事前にいいツールをガンガン用意してくれたので, とても助かった. ここまで快適にISUCONに取り組めたのは初の体験で, すごいと思った
  • 途中でスコアが下がってきた時に, 一歩立ち止まれなかったのは良くなかった
    • 個人的にはそこで焦ってしまった気がする. コードを少し戻して, どこでスコアが下がったのか? というところ調べた方が良かったのかも, と思っている
    • 焦っていろいろ手を打つ → 上がらなかったり, むしろ下がったりする, という悪循環に陥って精神的にもちょっと大変だった
  • 問題の分析と解決策の筋が悪かったので, スコアが伸び切らなかった... というのが今回のISUCONの総括になりそう
    • この辺りはいろいろな問題を見て, 試して, 場数(?)を踏むのが近道なのかな? と思っている
    • 過去問を解いたり分析したりして, 使える手を増やせるとISUCONでも業務でも活きそうと思った
  • Redisの活用, うまくいかなかったけど, 最後まで完了できたのは良かった(良かったこと探し)
    • しかも一番得意なPerlではなく, Go言語で最後までやりきれたのは自分でも驚いている
    • 過去, こういう大技系は試みようと思って諦めたりうまくいかないことが多かったので, (スコアには寄与できなかったけど!!!!)ベンチ通るレベルで完了できた, ということは手応えを感じた
      • 将来, もしISUCONや業務でRedisがうまくハマるパターンが出てきた時に「やれるぞ!」と言えるため
  • 一方で, このままだと何でもかんでもRedis化! と言いそう(とにかくRedisというハンマーを振り回したい状態)なので, 他の大技候補はもちろん, 小技候補もブラッシュアップしておきたい
    • 事前に過去問でRedis化の練習をしたおかげで, 高速に使えたのはよかった
    • なので, ISUCONを題材に, いろいろな技術要素の練習をできると良さそう
      • 最近自分にとって良い, 好き勝手できる「庭」的なコードがなかったので, それをISUCONの練習と組み合わせる(?)といいのかも, と思ったりした
  • あとは大技着手のタイミングも再考の余地がありそう
    • 今回は一通りの準備と調査が終わった段階で実装に着手したけど, もう少し小技というか手堅い改善を入れた後の段階でボトルネックを探して大技に着手した方が良さそうと思った
    • ちゃんと練習しておけば, 大技の完成にかかる時間はもう少し短くできると思うので, やっぱりいろいろ手を動かして, 使い慣れた道具にしておくのが大事そう

良いメンバーに恵まれて, 「次があったら勿論またやるぞ!!!」という勢いになっているので, 次こそは予選突破してみんなで天下一品飲みで祝賀会をしたいですね. やっていくぞ!!!!