トロントでは、そろそろ2024年を迎えようとしていますので、自分の成長記録や個人的な備忘録として残しておきます。また時間ができたら別のエントリーで落ち着いたらもっと細かいエントリーも書くつもりですが、まずは自分用に2023年まとめを書いておきます。
キャリア面
2022年にData Ops系のソフトウェアを書くエンジニアとして、OLAPデータ基盤のゼロからの構築やML系dataのインフラ管理を、トロントで働き出し、2023年は今の会社で２年目を迎えたので、業務的なキャッチアップを終え、ようやく技術的にも気持ち的にも、本来のインプットを出せてきた年でした。
技術的な学びで言えば、成長した分野としては
- Data Ops Software開発: Serverless なEvent Driven Designの理解を深め、Scalableな設計とあり方を実践できた。
- Sparkのbig data処理: パフォーマンスoptimizationや、Memoryのdebugginなど細かい実務レベルでレベルが一つ上がった。
- Data Modelling：大きく変化するビジネスモデルに合わせるData Modelを作れた。
- Data Integration: RedshiftやData Lake on S3で持っているデータをRedshift data share使ったり、S3 to S3でやり方を調べたり、学ぶことが多かった。Data Integrationは技術というよりかは、ビジネスコミュニケーションが全てな気もしますが、これはエンジニアとして生きていく上で避けれないので、慣れるしかないですね。
- CI/CD: AWSでCDKをちゃんと学びだしてから、CI/CDはまだproto type作るレベルで、それ以上は仕事では進まなかったですが、Data系のpipelineのcodeでもIntegration Testをちゃんとやろうという意識を持って日々の業務に取り組み、S3にexpected resultをparquetでstoreしておいて、CDKで決めておいたそれぞれのbatch jobがprocessしたデータに対して、あらかじめ作っておいたexpected data outputとマッチするかテストするPoCを下半期はやっていました。
来年やりたいこと
- Airflowは学んだけど、普段使っているGlue Workflowよりどこまで細かいレベルで管理できるか。次なる職場で試してみたい。
- Snowflake: 実際AWSは便利なので、Snowflake使うチャンスなかったけど、これも次の会社で使ってみたい。
- Real-time streaming: Data OpsやData pipeline、ML系のデータインフラ構築、管理に加え、よりbackendに近い、real-time data streamingの仕事を増やしていきたい。それがML domainならなお良い。Kappa vs Lambda architectureのLambdaの方を実際に書く機会があれば尚良い。
- Kotlin: これは言語として既に来年使うことが決まっているので、ちゃんと深めていきたい。Real-time streamingをkotlinでやるときに業務でしかencounterしないことは絶対あるので、backend系のReal-time streamingスキルセットをもっと深めたいので、頑張ります。
- ML Ops: いずれはML Opsに軸足をシフトしていく。2023年はML系のデータを扱ってきたものの、deploy、ML pipelineなどをしてきたわけではないので、個人プロジェクトなどでhands-onで経験を積んでいく
今年の学び
正直GPTが凄すぎて、ただコード書くだけの人材はいらないとよくわかった一年だった。これはもう避けれることではないので、じゃあ今後どういうキャリアに集中するかに集中していきたい。自分はマネジメントは全く興味ないので、対策としては以下になるかと思います。
シニアエンジニアはdefaultで目指しているので良いとして、あとGPTに奪われないキャリアとしては、
- data architectや設計の知識を増やす。Fundamentals of Software Architectureの本があと半分残っているので、まずはちゃんと技術書読むところから始める。
- ML Opsに寄せる: ML Opsの経験積んで、データ系のソフトウェアエンジニアの知見を生かすML Opsになるのも面白い。
仕事以外の話
2022年に妻と入籍して、2023年に無事に結婚式を日本であげることができました。これからトロントで夫婦生活も始まるので、貴重な時間を大切にしていきたいと思います。
人生はA-くらいでいいと思っています。ここ数年はコロナや不況で正直大変な2,3年でしたが、人生を100%としたら、自分の場合の幸せは次のように定義できます。
- 25%は身体の健康
- 25%はメンタルの健康
- 25%は家族との時間
- 25%は資産と仕事の収入
なので、人生における仕事はたった25%もありません。散々と技術の話してきましたが、残りの75%を大切に2024年も1日1日大事に、growth mindsetを持って成長していきます。
