データエンジニアになる方法

  • ブックマーク
  • -
    コピー

 どうすればデータエンジニアになれるのでしょうか?

 例えばコンピューターサイエンスとか電子工学などの、学位と異なり、データエンジニアリングは少し複雑かもしれません。なぜなら、大学のコースを受講しているときにデータエンジニアについて触れることは少ないからです。それでも、Facebook、Amazon、PayPal、Walmartなどの企業のように、特に海外の企業はデータエンジニアを探している状況です。

 データエンジニアはどのような学位を持っていますか? あるいは学位は必要ないのか? データエンジニアにはどのようなスキルが求められるのか? データエンジニアは日常的に何をしているのか?

大将

私の場合は、大学院で物理学専攻で、文学の数値解析をテーマにした論文を提出していたので、データには一般より近い位置にいたかもしれませんが、それでもコーディングや機械学習などは全て独学で死ぬほど勉強したと思います……

 今回は、私の経験と、実際に仕事のオファーを受けたことを含めて、ご紹介したいと思います。

データエンジニアはどの学位を持っているべきか?

 一般的には物理や数学の学位を持っている人の方が強いと思います。
 データは数字を扱う分野ですから、少なくとも数字を扱うことには慣れておいた方がいいです。
 しかし、数字をなにに活かすのか、が非常に大事ですので、文学や英語、社会や経済、それぞれの専門を持っておくことをお勧めします。

 データエンジニアは主に数学または工学の学位を取得する必要があるようですが、しkっかり学習や経験を積んでいれば、学位関係なく仕事にありつくことはできます。

大将

私の周りでも数学関係ない学問出て、データサイエンティストになった友人もいますよ!

データエンジニアとして仕事の経験をどのように積むか?

 まず、データエンジニアとしてインターンシップに参加することが挙げられるでしょう。間違いなくウケはいいと思います。

大将

私は在学中にクオンツ(Quantative analyst)という、20代でも年収1000万難関職の難関インターンシップを突破して、謎に別室面接した思い出を、書いてて思い出しました。まあ数学嫌いだからって理由で行かなかったんですよねw

 他のルートなら、コンピュータサイエンスや数学のバックグラウンドがなくても、最初にアナリストまたはプロジェクトマネージャーの職に就くことで、データエンジニアリングに取り掛かることもできます。そこから、データエンジニアリングの分野を学習していくという手段もあります。BIアナリストなどのデータエンジニアに非常に近いポジションも良いでしょう!

データエンジニアのスキル

 大まかに言えば、データエンジニアは、データを取得し、アナリストやデータサイエンティストが簡単に使用できる形式に、データを再構築したりします。
 ETL(抽出、変換、読み込み)、自動化(通常、Pythonまたは他のプログラミング言語で)、データモデリングあるいはデータウェアハウジング、SQLおよびNoSQLデータ操作、データ視覚化、そういったスキルがあると良いでしょう。

どのようなツールがあるか?

 データエンジニアは、プログラミング言語からドラッグアンドドロップツール、クラウドデータウェアハウスからデータ視覚化プログラムまで、さまざまなツールを使用しています。

たとえば、データエンジニアリングツールには、SSIS、Azure Data Factory、Tableau、Informatica、Matillion、Fivetran、Snowflake、Redshift、Databricksなどがあります。

大将

めちゃくちゃあるんですが、もちろん全部使えとかじゃなく、紹介なので、ご参考までに。

データエンジニアリングの勉強

 これはネットに素晴らしいガイドが合ったので、こちらを紹介したします!

データエンジニアとデータサイエンティストの違い

大将

まあ人によって主張は違うし、本質的な話ではないですが……


 データエンジニアの目標は全体像と開発に重点を置いています。データエンジニアは、自動化されたシステムを構築し、データ構造をモデル化して、データを効率的に処理できるようにすることの方が重要ですかね。
つまり、データエンジニアの目標は、分析ダッシュボードやその他のデータ顧客(データサイエンティスト、アナリスト、その他のエンジニアなど)をサポートするためのテーブルとデータパイプラインを作成および開発することです。エンジニアです!

 一方でデータサイエンティストは、コストを削減して利益を増やす方法や、顧客体験やビジネス効率を向上させる方法を探しているという意味で、問題に焦点を当てる傾向があります。つまり、問題から、仮説を立ててから結論を出す、ということです。
 患者の再入院に何が影響するか、A対Bのような広告が表示された場合、顧客はより多くをどちらに費やすか、パッケージを配達するためのより速いルートがあるかなどの課題に取り組みます。
 プロセス全体を通じて、データサイエンティストは分析し、課題に対する結論を導き出します。

  • ブックマーク
  • -
    コピー

この記事を書いた人

大将

大将

エストニアの国立大学、タリン工科大学在学中に現地案内事業で起業。大学院では文学の数値解析の研究と小型人工衛星研究開発チームに所属。データサイエンティストとしてさまざまなプロジェクトに関わり、現在はフロントエンドの開発やVR教育やVR美術館などの創作や事業を行っている。元テニスコーチ。