初めましての方は初めまして、そうでない方はこんにちは、@fono です。
平常の業務では、pixivision のバックエンド各種実装、GoogleAnalytics4移行やデータ整備などをやっています。
特に、pixivisionは2014年から提供している弊社オウンドメディアで、諸々の歴史的な経緯が積み重なった本番で動いているコードとデータ構造を解きほぐすために、データ基盤の力を借りつつ、改修などを推進しています。また、それ以外の日々の業務でも、集計、レポーティング、あるいはデータ整備そのもののためにデータ基盤を活用することは珍しくありません。
ただし、個々のエンジニアによる、データ基盤の利活用度合いにはムラがあります。データエンジニアリング互助会の司会進行を行っている私自身も、データ基盤の一部の処理を書くときに手間取ることがままあります。
まさにそうやって手間取っているとき、社内で同じような業務に携わる仲間と知見を交換・集約できる場がないかなあ、利活用のハードルが下がるんだけどなあ、と思ったことはありませんか？
ピクシブでは、例として挙げたデータエンジニアリングに限らず、大まかな技術スタック毎に定期的に開催されている、エンジニア組織における「互助会」の取り組みがあります。
本日の記事は、私が司会をしている「データエンジニアリング互助会」ついてご紹介させていただきます。
発足経緯
2018年7月に #analyst互助会 という、データエンジニアリングからデータ分析までを目的とする互助会が、下記の目標を持って発足しました。
- 分析手順や分析基盤(BigQuery, GoogleAnalhytics, etc.)の運用に関する知見を共有し合うことで、社内の各部署・チームに点在するanalyst達が数値分析業務をより効率的にこなせるようになっていくこと
- ベストプラクティスに関する共通認識を固め、場合によってはルールを設け、レガシーな分析基盤を非推奨扱いとし、分析環境を健全な状態に保つこと
- ビジネス職・技術職・デザイナー職など、多くの職域の交わる「分析」という領域において、互いに助け合う文化を醸成・維持すること
発足から1年以上経過し、データ基盤が拡充され、データ活用が民主化されて成熟していきました。その過程で、データを活用に関わるメンバーが増え、その職能ごとに関心事が異なる領域を扱う形となり、分析については互助会ではない形で取り組みを継続することになりました。
データ活用とその民主化については、下記のinsideの過去記事をご覧ください。
結果として、2019年10月からデータ基盤の取り扱いにより焦点を当てた「データエンジニアリング互助会」が、下記の目標を持って行われるようになりました。
- 社内の各部署・チームに点在するデータ活用基盤に関わるエンジニア達がデータ活用基盤(BigQuery, Looker, etc.)に関する知見・ノウハウを共有し合うことで、それぞれの所属する部署のデータ活用が活発になり、結果としてより高いリターンを狙っていけるようになること
- ベストプラクティスに関する共通認識を固め、場合によってはルールを設け、レガシーな基盤を非推奨扱いとし、データ活用基盤を部署横断で健全な状態に保つこと
そしてこの互助会は、今日に至るまで、司会や開催頻度や形式など少しずつ形を変えながら開催されて続けています。
互助会の内容
毎週火曜日に開催されるデータエンジニアリング互助会は、Airflow, Looker, BigQueryといった、データ処理、データ集計を行うための活用のための相談、知見の集約、一部の意思決定の場となっています。
開催日のお昼までにNotionに議題を書いておき、議題がなければ開催をスキップします。 加えて、開催時に司会とは別に議事録をまとめる「まとめ担当」を参加者で回しております。 まとめ担当は、互助会が終わり次第参加者が集まっているSlackチャンネルに議事の概要を投稿しています。
これにより、必要があれば開催され、参加しなくてもある程度概要がつかめるようになっており、多チームに跨る参加者の拘束時間を減らす仕掛けとなっています。
開催時間も短く30分前後で解散するため、より熟議が必要な議題については切り上げて持ち帰りとするパターンが多いです。
内容としては「最近更新されたドキュメント」「議事録」「各チームで進行中の実装」「小ネタ」となっています。
最近更新されたドキュメントが議事録に自動的にリストアップする仕掛けを別の定例のテンプレートを参考に整備し、それを活用して読み合わせることで、データエンジニアリングに活用するツールや基盤等の更新状況をキャッチアップできるようになっています。
また、議事録については直前で挙げたとおり、各メンバーが前もって相談内容を議題として挙げるテンプレートになっており、各チームで進行中の実装のコーナーに関しては、他チームに影響のありそうな実装や事例として共有したい実装がある場合に共有するコーナーになっています。
最後に、小ネタのコーナーはAirflow, Looker, BigQueryなどを活用する上で必要な知見を共有する場として活用が始まっています。集計において意図しない結果になるクエリや、Lookerでより使いやすい画面を提供するためのノウハウが共有されます。
今後について
長く運用していくに伴って、社内でのデータエンジニアリングに必要な基盤、体制も拡充されていきました。そのため、横断でデータエンジニアリングの水準を引き上げるのに必要な互助会であることは各メンバーが認識できている状態かと思っています。
ただし、単純な共有の場や知見を共有する場ではなく、ある程度の意思決定を行ったり、タスクの依頼を行う機会も往々にしてあります。そのため、現段階の互助会の枠組みで行われるメンバー間の個人的な依頼だけではなく、適切な責務と権限を持った組織が他チームに依頼を行えるような枠組みが必要になってくる段階かもしれません。
