いずみこんな悩みを解決できる記事を書きました！
僕は現役フリーランスエンジニア（歴10年）で、資格は13個保有しています。
「PythonでPolarsを使ってデータ処理を高速化する方法を知りたい」とお考えではありませんか？
Pandasでの集計処理に時間がかかって困っている方へ。
Polarsを使えば、大量データの読み込みや集計処理を大幅に高速化することが可能です。
いずみPandasの操作に慣れている方なら、すぐに使いこなせる書き方になっています。
ということで、本記事ではPythonでPolarsを使って高速データ処理を実装する方法を解説します。
| 【当サイト】おすすめフリーランスエージェント3選 | |||
|---|---|---|---|
| エージェント | 評価 | ポイント | 公式サイト |
 レバテックフリーランス  | 5.0 | 業界最大級のエージェント。 高単価案件が豊富。 | 公式 |
 Midworks  | 4.8 | 満足度調査で 3年連続3冠を達成。 | 公式 |
 ITプロパートナーズ  | 4.6 | 週2〜3向けの案件が豊富。 | 公式 |
【Python】Polarsで高速データ処理を実装する方法
早速ですが、PythonでPolarsを使った高速データ処理を実装してみます。
Polarsとは
PolarsはRust言語で実装されたデータフレームライブラリです。
列指向の設計とマルチスレッド処理により、Pandasと比べて数倍から十数倍の処理速度が出るケースがあります。
大規模なCSVファイルやログデータの集計処理で、特に効果を発揮するライブラリです。
いずみPandasと書き方が似ているので、乗り換えのハードルはそこまで高くありません。
インストールと基本的な使い方
早速、Polarsをインストールして基本的な使い方を確認します。
pipコマンドでPolarsをインストールします。
pip install polars辞書からDataFrameを作成してみます。
import polars as pl
df = pl.DataFrame({
"category": ["food", "book", "food", "toy"],
"amount": [1200, 800, 2400, 500],
})
print(df)pd.DataFrameとほぼ同じ書き方なので、違和感なく移行できます。
CSVファイルの読み込みと集計処理
続いて、CSVファイルを読み込んでフィルタリングと集計処理を実装します。
df = pl.read_csv("sales.csv")
print(df.head())read_csvメソッド1行でCSVファイルの読み込みが完了します。
result = (
df.filter(pl.col("amount") > 1000)
.group_by("category")
.agg(pl.col("amount").sum().alias("total"))
.sort("total", descending=True)
)
print(result)filterメソッドとgroup_byメソッド、aggメソッドをチェーンでつなぐだけで、条件抽出と集計が完了します。
scan_csv関数を使うと、Lazy APIで処理を組み立てられます。
lazy_df = pl.scan_csv("sales.csv")
result = (
lazy_df.filter(pl.col("amount") > 1000)
.group_by("category")
.agg(pl.col("amount").sum().alias("total"))
.collect(streaming=True)
)collectメソッドが呼ばれるまで処理が実行されないため、クエリ全体を最適化してから一括で実行できます。
いずみstreaming=Trueを指定すると、メモリに乗り切らない巨大なファイルもストリーミング処理できます。
| 【当サイト】おすすめフリーランスエージェント3選 | |||
|---|---|---|---|
| エージェント | 評価 | ポイント | 公式サイト |
レバテックフリーランス | 5.0 | 業界最大級のエージェント。 高単価案件が豊富。 | 公式 |
Midworks | 4.8 | 満足度調査で 3年連続3冠を達成。 | 公式 |
ITプロパートナーズ | 4.6 | 週2〜3向けの案件が豊富。 | 公式 |
【厳選】フリーランスエンジニアにおすすめなエージェント3選
フリーランスエンジニアになるにはエージェントから案件をもらう必要があります。
僕が実際に利用しているおすすめエージェントを紹介しますね。
いずみエージェントは必ず複数登録してください。
担当者によっては「全然案件紹介してくれない…」みたいなこともあるので…
僕は実際に5つのエージェントを使い回していますよ。
フリーランスを始めるなら「レバテックフリーランス
」
| 案件数 | マージン率 | 単価 | |
| 約88,000件 | 非公開 | 高 | |
| 初心者 | 福利厚生 | 申し込み | |
| 無料 |
- 業界最大級の案件数。
- 業界トップクラスの高単価報酬、低マージン（平均年収862万円）。
- 案件参画中のフォローの充実。
※詳細は「【業界最大手】レバテックフリーランスとは？メリットや利用手順を解説！」を参照。
レバテックフリーランス
は業界最大手のフリーランスエージェントです。
とにかく案件数が多いので、とりあえず登録しておけば間違いないエージェントです！
いずみ僕もはじめてフリーランスの案件を貰ったのはレバテックフリーランス
です。
保有している案件数が多いので、業務経験がなくても何かしらの案件は紹介してもらえますよ（僕はJavaの経験3年でも案件を貰えました）。
手厚い保障を重視したいなら「Midworks
」
| 案件数 | マージン率 | 単価 | |
| 約10,000件 | 非公開 | 中 | |
| 初心者 | 福利厚生 | 申し込み | |
| 無料 |
- 手厚い保障で正社員並みの安心感。
- 還元率60％超え＆単価公開でクリアな契約。
- 給与保障制度（審査あり）。
Midworks
は手厚い保障が特徴のフリーランスエージェントです。
フリーランスを目指しているけど不安な方や保障を重視したい方におすすめです。
いずみ僕も何度か案件を紹介してもらいました。
自分のスキルに合った案件を紹介してもらえましたし、電話のやり取りも非常に丁寧でした。
週2〜3日の案件探しなら「ITプロパートナーズ
」
| 案件数 | マージン率 | 単価 | |
| 約5,000件 | 非公開 | 高 | |
| 初心者 | 福利厚生 | 申し込み | |
| 経験者向け | 無料 |
- IT案件に特化したフリーランスエージェント。
- 週2〜3日の案件が豊富。
- リモート案件が多く、直エンドなので単価も高い。
※詳細は「【週2・3案件】ITプロパートナーズとは？メリットや利用手順を解説！」を参照。
ITプロパートナーズ
はIT案件に特化したフリーランスエージェントです。
週2〜3日から参画できる案件が豊富なので、起業したい人にもおすすめです。
いずみ週2〜3日の案件はある程度スキルがないと紹介してもらえない印象です。
とはいえ、週5の案件ももちろんありますし、僕が利用した時は迅速・丁寧に対応していただきました！
よくある質問
PolarsとPandasはどちらを使うべきですか？
大規模データの処理速度を重視する場合はPolarsが向いています。
既存のPandasコードや周辺ライブラリとの互換性を重視する場合はPandasが向いています。
Polarsで欠損値を確認するにはどうすればいいですか？
null_countメソッドを使うと、列ごとの欠損値の件数を確認できます。
print(df.null_count())既存のPandasコードから簡単に移行できますか？
DataFrameのメソッド名や考え方が近いため、大部分のコードは書き換えやすくなっています。
ただし、一部のメソッドは名称や引数が異なるため、公式ドキュメントで都度確認しながら移行する必要があります。
まとめ
今回は、PythonでPolarsを使って高速データ処理を実装する方法について解説しました。
以下が本記事のまとめになります。
- おすすめ本
Pythonの勉強なら「独習Python」が体系的に学べるのでおすすめですよ♪
いずみ最後までお読みいただき、ありがとうございました！
| 【当サイト】おすすめフリーランスエージェント3選 | |||
|---|---|---|---|
| エージェント | 評価 | ポイント | 公式サイト |
レバテックフリーランス | 5.0 | 業界最大級のエージェント。 高単価案件が豊富。 | 公式 |
Midworks | 4.8 | 満足度調査で 3年連続3冠を達成。 | 公式 |
ITプロパートナーズ | 4.6 | 週2〜3向けの案件が豊富。 | 公式 |
- クソおすすめ本
いずみ海外のエンジニアがどういった思考で働いているかが理解できます。
海外に行く気はないけど海外エンジニアの動向が気になる雑魚エンジニアにおすすめです（本当におすすめな本しか紹介しないのでご安心を）。
