データエンジニア
でーたえんじにあ
データエンジニアとは、データサイエンティストやアナリストが分析に使うためのデータ基盤（DWH、データレイク、パイプライン）を設計・構築・運用する専門職。
最終更新: 2026/1/28
データサイエンティストとの違い
- サイエンティスト: 「料理人」。用意された食材（データ）を使って美味しい料理（モデル・分析結果）を作る。
- エンジニア: 「卸売業者・設備屋」。新鮮な食材を安全に、安定して厨房に届けるルートを作り、冷蔵庫（DWH）を管理する。
主な技術スタック
- クラウド: AWS (S3, Glue, Redshift), GCP (BigQuery, Dataflow), Azure
- 分散処理: Apache Spark, Hadoop
- パイプライン管理: Airflow, Dagster, dbt
- IaC: Terraform, Docker, Kubernetes SQLだけでなく、PythonやJavaなどのプログラミング能力も必須です。
由来・語源
(記述募集中)
使用例
(記述募集中)
関連用語
- 関連: