12月6日から10日までシンガポールで開催された 「Empirical Methods for Natural Language Processing (EMNLP) 2023」 において、自然言語処理 (NLP) 分野に関する研究開発を含め、4つのテーマで発表を行いました。
まず、人事セッションでは採用情報を発表しました。昨今、大規模な言語モデルは人々の日常生活や社会生活に大きな影響を与えています。ソニーもNLPに関連する研究分野のR&D活動を行っており、現在人材を募集しています。 プレゼンテーションでは、人事担当者から、ソニーの歴史や研究開発の現状、詳しい仕事内容などを紹介しました。
次に、マルチモーダル向けのNLPの研究開発について発表しました。
ここでは、ゼロショット画像検索などへの応用が期待されるCLIPとCyCLIPを改良する新しい手法を紹介しました。この我々の新しいモデルのことをCLIPsとCyCLIPsと呼んでいて、CLIPやCyCLIPの言語エンコーダの表現空間の均一性を改善することが主なアイデアです（図１）。文分類タスクだけでなく、テキスト画像検索などのタスクでもCLIPやCyCLIPを改善しています。本論文のより詳しい情報は、こちらをご覧ください。
また、ソニーのマルチモーダルな生成AI技術に関連する深層生成モデルに関する発表論文の一部も紹介しました。
[発表論文]
・Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion
・SAN: Inducing Metrizability of GAN with Discriminative Normalized Linear Layer
・SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization
3番目のセッションでは、ソニーとEPFL (École Polytechnique Fédérale de Lausanne)の共同研究であり、ACL (the Association for Computational Linguistics) 2023で発表されたPeaCoKを紹介しました。PeaCokは、ペルソナに関する高品質な常識知識グラフの作成に貢献しています。NLPにおけるペルソナに基づく対話生成の分野では、非構造のリソースに依存してきた背景があり、このような構造化データは重要なリソースになると考えています。
PeaCokはACL2023でOutstanding Paper Awardを受賞しました。
論文はこちらをご覧ください
PeaCoK: Persona Commonsense Knowledge for Consistent and Engaging Narratives
最後のセッションでは、ペルソナに基づく対話生成と知識リンクに関する現在開催中のコンペティションを紹介しました。
ペルソナに基づく常識知識であるPeaCokを活用することで、流暢性・一貫性・エンゲージメントの観点で適切にユーザに応答するAIモデルの開発に繋がることを期待してコンペティションを開催しています。
詳細はこちら：CPDC2023
ソニーブースでのプレゼンテーションでは、多くの学生や経験豊富な研究者が集まり、現在進行中の研究に強い関心を示していただいたり、求人やコンペティションについて質問をいただくなど、有意義なディスカッションを行うことができました。
私たちの技術をアピールするだけでなく、将来の開発に向けた新たなアイデアを育む絶好の機会となりました。
