LeRobot documentation
サードパーティ製カメラとセンサー
サードパーティ製カメラとセンサー
LeRobotエコシステムは、ネイティブでサポートされているカメラ（OpenCV、Intel RealSense、ZMQ、Reachy 2）をはるかに超えています。LeRobotのプラグインアーキテクチャのおかげで、コミュニティはドロップイン方式のカメラおよびセンサー統合を構築しました。深度カメラからビジョンベースの触覚センサーまで、多岐にわたります。このページでは、テレオペレーション、データ収集、ポリシーのデプロイに使用できる、コミュニティがメンテナンスしているカメラおよびセンサーの統合を紹介しています。
これらのプロジェクトはサードパーティによって開発・保守されています。インストール手順、ハードウェア要件、サポートについては、それぞれのリポジトリを参照してください。
Drop-inプラグインはパッケージ名によって自動検出されます。LeRobotは、lerobot_camera_プレフィックスを持つインストール済みのパッケージをすべてインポートします。インストール後、プラグインが登録するカメラのtype（READMEを参照してください。パッケージ名と異なる場合があります）を、LeRobotのどのコマンドからも直接参照できます。
pip install lerobot_camera_<name>
lerobot-record \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=my_follower_arm \
--robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=my_leader_arm \
--dataset.repo_id=${HF_USER}/my-dataset \
--dataset.single_task="Describe your task here" \
--dataset.num_episodes=5触覚センサー
| プロジェクト | 説明 |
|---|---|
| lerobot-camera-xense | Xenseのビジョンベース触覚センサー用プラグイン。補正済み画像、差分画像、深度、2Dマーカーを公開します。 |
| lerobot_camera_paxini | Paxini PX-6AX GEN3 多次元触覚センサー（1 taxelあたり3軸の力、9〜239 taxel）用プラグイン。taxelアレイを力ベクトル画像またはヒートマップ画像としてレンダリングします。 |
深度カメラ
| プロジェクト | 説明 |
|---|---|
| lerobot_camera_berxel | Berxel深度カメラ用プラグイン。HEXFELLOWドライバースイートの一部です。 |
| lerobot_camera_zed | Stereolabs ZEDカメラ（ZED 2/2i/Mini、ZED Xファミリー、ZED X One）用の公式プラグインです。メートル単位の深度、ハードウェアタイムスタンプ、SVO録画に対応しています。 |
| lerobot_camera_oak | USBまたはPoE経由のLuxonis OAKおよびOAK4カメラ用プラグイン（DepthAI v3）。深度マップと点群はオプションです。 |
ネットワークカメラ
| プロジェクト | 説明 |
|---|---|
| lerobot_camera_zmq | プラグインで、Stereolabs ZEDおよびRaspberry PiのUSBカメラのフレームをネットワーク経由でストリーミングします。 |
仮想カメラ
| プロジェクト | 説明 |
|---|---|
| lerobot_camera_dummy | Plugin ハードウェアなしで録画するためのカメラをシミュレートします。デバッグに便利です！ |
コントリビューション
独自の LeRobot カメラやセンサー統合を作成しましたか?lerobot_camera_<name> としてパッケージ化すると、LeRobot CLI によって自動的に検出されます。Bring Your Own Hardware ガイドと Cameras リファレンスを確認して始め、プロジェクトをコミュニティと共有してください!