Software Engineer - VLM /大規模言語モデルVLMエンジニア

採用背景

業務内容

当社（当社）では、大規模言語モデル（LLM）の技術を中核としたマルチモーダル基盤モデルの開発を進めています。基盤モデルの研究開発に加え、エンタメ、科学計算、ロボットといった自社事業領域の強化につながる応用開発や、多様な産業への展開を見据えた応用研究にも取り組んでいます。 VLMチームは、PLaMo-VLの開発・提供を通じて、VLM領域から当社の事業成長を牽引することをミッションとしています。自社LLMをマルチモーダル基盤モデルへ拡張する中核として、PLaMo-VLの研究開発からプロダクト化までを推進します。画像・動画・テキスト等を統合的に理解・生成できるVLMを、実運用可能な品質・コストで提供し、当社の事業（プロダクト、ソリューション、API/プラットフォーム）拡大に貢献します。 本ポジション（大規模言語モデル／VLMエンジニア）は、自社開発の大規模言語モデル「PLaMo」をベースモデルとして、視覚情報と言語情報を統合的に処理するVLMの開発・運用に取り組みます。産業領域での実用的なフィジカルAIに求められる高度な画像理解タスクへの対応を目指し、モデル設計・学習・評価から推論最適化、実運用に向けた品質向上までを推進します。 業務例 ・VLMのモデル設計、学習、評価 ・基盤モデルの性能をさらに向上させるような手法の研究開発 ・社内外からの様々な用途・要望に対応できるような、高品質かつスケールするデータ生成手法の研究開発 ・実運用に向けた品質向上（失敗ケース分析など） ※実際の業務は上記に限定されるものではありません。入社後にご担当いただく業務内容は、専門的知識・ご経験等を踏まえて決定します。 様々な産業で広く使われるVLMの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

採用要件

※本ポジションは即戦力採用を前提としており、VLMの研究開発を自走して推進できる方を想定しています。 【必須要件】 ?コンピュータサイエンスの知識や関心 ?最先端の技術動向を継続的にキャッチアップし、関連するCS/ML領域における専門性を主体的に深められること ?以下のいずれかを満たすこと ?LLM（Transformer系モデル）に関する実務的な知識・経験、および、コンピュータービジョンに関する研究または実務経験（設計・実装・学習・評価の一連のプロセスを含む） ?事前学習、ファインチューニング、評価に関する理解・実装経験 ?VLM（Vision-Language / マルチモーダルモデル）の研究開発経験 ?視覚情報と言語情報を統合するモデルのアーキテクチャ設計・実装経験 ?実データ/合成データを用いた学習・評価までを完遂した経験 ?代表的なVLM手法・マルチモーダル学習の基本概念に関する理解 ?Pythonによるソフトウェア開発経験（ML開発を含む） ?再現性・保守性を意識した実装（例：実験管理、コード品質、テスト/デバッグ） ?計算資源（GPU/メモリ/計算量）と実効性能を意識した実装・改善ができること ?数学・統計の基礎知識（例：線形代数、確率統計、最適化） ?チームでの課題解決経験 ?複数メンバーと協働し、技術的論点の整理・合意形成・遂行ができること ?業務上必要最低限の英語コミュニケーション能力 ?チーム内の打ち合わせ・日常的なコミュニケーションは英語で行います。翻訳ツールの利用は可能ですが、英語でのコミュニケーションに前向きに取り組めることを必須とします。 【期待要件】 ?大規模学習・分散学習の経験 ?分散学習フレームワーク（例：FSDP、DeepSpeed等）を用いた開発・運用経験 ?Kubernetes（k8s）を用いて、データ生成?学習?評価までのパイプライン構築・改善経験 ?AWS等クラウド環境での大規模学習基盤の構築・運用経験（例：EC2/EKS、S3、IAM、CloudWatch等） ?データセット/ベンチマークの設計・構築経験 ?要件定義、品質管理、アノテーション設計、評価設計（指標・プロトコル）の経験 ?既存のVLMアーキテクチャに対して、新規の改良手法を設計した経験 ?VLMに関する研究成果を、実際の事業・プロダクトへの適用（実装・展開）につなげた経験 ?機械学習/深層学習OSSへのコントリビューション経験 ?研究実績 ?論文、特許、対外発表など、研究成果として説明可能な実績 ?コンテスト等での実績（Kaggle、プログラミング/ゲームAIコンテスト等） ?開発プロジェクトにおけるリーダーシップ経験（目安：3名以上のチームをリードし成果創出） ?日本語でのコミュニケーション能力 ?チーム内の打ち合わせ・日常的なコミュニケーションは英語で行いますが、社内ドキュメントや一部の情報は日本語で提供されています。そのため、日本語を理解できる方、または日本語の学習に前向きに取り組める方を歓迎します。 ?ロボティクス領域の知識・開発経験（加点要素） ?Physical AIの開発に向け、ロボットシステムや関連技術への理解・開発経験 ?強化学習の知識・開発経験（加点要素）