Support #289: 了解cacafly提供之PoC系統架構 - Cacafly - Redmine

Custom queries

Issues assigned to me
Reported issues
Updated issues
Watched issues

Actions

Copy link

Support #289

closed

了解cacafly提供之PoC系統架構

Added by Mark Chiang about 1 month ago. Updated about 1 month ago.

Status:

Closed

Priority:

High

Assignee:

Mark Chiang

Start date:

10/14/2024

Due date:

10/18/2024

% Done:

100%

Estimated time:

40:00 h

Spent time:

6:00 h

History
Notes
Property changes
Spent time

Actions

Copy link

Updated by Mark Chiang about 1 month ago · Edited

Status changed from New to In Progress
% Done changed from 0 to 10

程式在workflow的這裡

觸發bigquery裡面的這個 query後

從新聞裡面extract出來的資料(company, money, investor, acquirer, etc)會儲存在bigquery的這裡

query範例

SELECT
  *
FROM
  `biodnd.news.news_en_sample_pro`
WHERE
  Money != 'None'  ;

Actions

Copy link

Updated by Mark Chiang about 1 month ago · Edited

至於最重要的query

他會先從這裡呼叫LabelExample取得範例, 教LLM如何從新聞提取哪些重要訊息.

然後呼叫這裡的 ReadArticle,
在這裡程式會呼叫LLM 用gemini-flash 從biodnd.news.news_en_sample(儲存新聞的地方)讀新聞
然後把我們有興趣的資料提取出來成為JSON格式.
然後呼叫ParsedResult把他變成sql的結構回傳.
根據這行 CREATE OR REPLACE TABLE `biodnd.news.news_en_sample_test`
就會被放到 biodnd.news.news_en_sample_test

Actions

Copy link

Updated by Mark Chiang about 1 month ago

% Done changed from 10 to 20

Actions

Copy link

Updated by Mark Chiang about 1 month ago · Edited

% Done changed from 20 to 30

RAG 的部分他們用 agent builder 來做

可以在這裡把GCS上面的檔案設定進去

然後把上面的資料跟這裡的應用程式連結在一起

然後可以在這裡詢問

太平洋证券对生物医药行业有哪些展望？

搜尋的結果裡面按preview就會看到程式產的報告pdf, 很醜.

如果到這裡搜尋, 按preview, 會看到原始我們餵進去的資料, 好看很多. 但是, 資料就外流了.

Actions

Copy link

Updated by Mark Chiang about 1 month ago

% Done changed from 30 to 40

至於怎麼把 gcs 上面的文章轉成報告
主要是透過 ~/projects/cacafly/geneonline_rag
這一包是 RAG API
跑起來之後就有 API 可以呼叫
呼叫API就可以告訴他你想要把GCS上面的哪些資料寫成報告
寫成報告要用到的prompt在reports.py裡面
rag.py主要是讓你search的時候用的
比如說你透過API呼叫run.py裡面的/summaryFolder, 它就會呼叫reports.py裡面的summary_folder
然後就會把GCS上面的某個folder裡面的文章都summarize.

Actions

Copy link