近年、AI技術の進化は産業や社會に大きな変革をもたらしています。特に、GPTなどの大規模言語モデル（LLM）の登場により、AIの可能性が広がりました。しかし、これらの技術の利用は多くの企業や個人にとって門戸が閉ざされていたため、オープンソースの登場はAIの民主化を促進する重要な転機となりました。本記事では、オープンソースがAI技術を広く利用可能にするための技術的背景、実際の応用例、および今後の展望について解説します。
2022年11月に発表されたChatGPTは、AI技術の可能性を示す重要なマイルストーンとなりました。しかし、その閉鎖的な性質により、多くの企業や開発者にとって利用が困難でした。この背景を受けて、StarCoderやLlamaなどのオープンソースモデルが登場し、AI技術のアクセス性を飛躍的に向上させました。これらのモデルは、企業や研究機関が自由に利用・カスタマイズできるため、AIの応用範囲を広げる鍵となりました。
インドでは、Chatbotを活用したオープンソースモデルが貧困層の教育支援に貢獻しています。OpenAIのモデルをベースにしたChatbotは、地元の言語で教育情報を提供し、教師不足や教材の不足を補う役割を果たしています。このように、オープンソースは社會的課題の解決にも貢獻する技術として注目されています。
StarCoderは、企業が厳格なセキュリティ要件を満たす必要がある場合に適したオープンソースモデルです。ある企業では、StarCoderをベースに微調整（fine-tuning）を行い、Rayというツールを活用して開発者數を短期間で200人から2,000人に拡大しました。このプロセスでは、企業の獨自コードベースを活用したパラメータ効率的な微調整（param-efficient fine-tuning）と量子化（quantization）技術が採用され、計算リソースの消費を抑えることに成功しました。
Metaが2023年2月に公開したLlamaシリーズは、ダウンロード數3,000萬回を突破し、7,000種類以上の派生モデルが生まれました。Llamaの特徴は、小型モデルを微調整することで大型モデルに匹敵する性能を実現できることです。また、オープンソースのリポジトリでは、量子化やパラメータ効率的な微調整などのツールが提供され、モデルの拡張性とアクセス性を高めています。
基礎モデルの訓練にはインターネット規模のデータが必要ですが、微調整では精度の高い小規模データが求められます。このため、RAG（Retrieval Augmented Generation）技術が注目されています。RAGは、文脈データを組み合わせることでモデルの精度を向上させ、Apache Icebergなどの文書データを活用した応用例も報告されています。
MilvusやChromaなどのベクトルデータベースは、語義検索を実現するためのキーテクノロジーです。RAGの実裝において、これらのツールは重要な役割を果たしており、語義的検索の精度を高めるための基盤となっています。
Hugging Faceは、30萬以上のオープンソースモデルと6.5萬以上のデータセットを提供しており、LLMの開発・利用を簡素化しています。Transformers Libraryは、さまざまなモデルアーキテクチャをサポートし、LLMとの相互作用を容易にします。
LangChainは、モデル、データセット、プロンプト、ベクトルデータベースを統合し、開発プロセスを最適化します。一方、Rayはモデルのスケーラビリティを向上させるためのツールであり、企業の実例では短期間で開発者數を大幅に拡大するなど、実用性を証明しています。
オープンソースは技術の門戸を広げるだけでなく、法律などの専門分野の知識を持つ人々の參加を促進します。たとえば、法律分野では、低所得層のアメリカ人が法律サービスにアクセスできない問題に対し、法律専門家とデータを組み合わせたLLMが開発されています。LegalBenchデータセットや評価フレームワークの導入により、専門知識を活かしたAI開発が進んでいます。
Stanford Center for Research on Foundation Modelsなどのコミュニティは、法律データセットや評価基準の構築を通じて、多分野での協力を推進しています。このような協力體制は、オープンソースの持つ社會的価値を最大化する鍵となります。
モデルの訓練には、特定の分野の専門知識を含むデータが必要です。また、評価データセットの構築も重要であり、オープンソースコミュニティが協力して多分野のデータセットを構築することで、社會的課題への応用が可能になります。
Apacheソフトウェア財団は、ソフトウェアとデータの公共利益を重視しており、社會的問題の解決を目的とした協力體制を推進しています。法律の正義や教育の公平性など、さまざまな分野での応用が期待されています。
オープンソースは、AI技術の民主化を実現するための重要な手段です。StarCoderやLlamaシリーズなどのモデル、Hugging FaceやRayなどのツール、RAG技術やベクトルデータベースなどの技術的要素が、AIの広範な利用を可能にしています。今後は、領域特化データの構築やコミュニティの協力が、社會的課題の解決に向けた重要なステップとなるでしょう。