Feat:Sydney模式添加内容生成支持 (#420)

* 修复后台API反代地址未能正确显示的问题

* 更新渲染页面配置

* 添加个人聊天模式配置

* 将用户数据获取改到common中

* 修复错误的渲染页面参数

* 修复bug

* 添加Live2D

* 修复渲染页面错误

* 修复渲染传入值

* 更新渲染

* 修复图表渲染bug

* 调整live2d模型大小

* 修复live2d无法关闭问题

* 修复错误的传值

* 修复ai命名

* 更新渲染

* 添加用户独立设定

* 更新渲染配置适配个人设置

* 修复合并导致的渲染文件异常删除

* 修复用户数据缺失问题

* 修复旧版本数据缺失问题

* 修复bing参数不存在问题，兼容miao的截图

* 修复受限token重试时不被排除的问题

* 修复个人模式下结束对话的模式错误

* 更新渲染页面，将预览版转为正式版

* 修复传统渲染无法调用截图功能的问题

* 文字模式也进行一次缓存

* 更新README

* Update README.md

* 更新渲染

* 更新渲染页面

* 添加版本信息

* 遗漏参数

* 丢失引用

* 补充路由

* 添加云转码功能

* 判断node-silk是否正常合成

* 云转码提示

* 修复图片渲染出错

* 云转码支持发送Buffer

* 添加云转码模式支持

* 更新描述

* 更新后台渲染页面

* 更新配置

* 更新渲染页面

* 添加云渲染

* 修复错误的接口调用

* 修复遗漏的数据转换

* 修复获取的图片数据异常问题

* 更新后台配置

* 更新渲染页面

* 修复云渲染访问地址错误

* 更新渲染页面

* 修复遗漏的模型文件

* 修复live2d问题

* 更新live2d以及相关配置

* 修复遗漏的数据参数

* 修复新live2d情况下云渲染错误的问题

* 适配云渲染1.1.2等待参数

* 添加云服务api检查

* 更新渲染页面

* 添加live2d加载检测

* 修复错误的属性判断

* 添加云渲染DPR

* 更新sydney支持内容生成

* 修改文件模式语音转码接收模式

* 添加云转码时recordUrl检查

---------

Co-authored-by: ikechan8370 <geyinchibuaa@gmail.com>

utils/SydneyAIClient.js

@@ -358,6 +358,9 @@ export default class SydneyAIClient {
             'responsible_ai_policy_235',
             'enablemm',
             toneOption,
+            'clgalileo',
+            'gencontentv3',
+            'rai267',
             'dtappid',
             'cricinfo',
             'cricinfov2',
@@ -625,7 +628,11 @@ export default class SydneyAIClient {
                   adaptiveCards: adaptiveCardsSoFar,
                   text: replySoFar.join('')
                 }
-            message.text = messages.filter(m => m.author === 'bot').map(m => m.text).join('')
+            // 获取到图片内容
+            if (message.contentType === 'IMAGE') {
+              message.imageTag = messages.filter(m => m.contentType === 'IMAGE').map(m => m.text).join('')
+            }
+            message.text = messages.filter(m => m.author === 'bot' && m.contentType != 'IMAGE').map(m => m.text).join('')
             if (!message) {
               reject('No message was generated.')
               return

utils/uploadRecord.js

@@ -62,6 +62,10 @@ async function uploadRecord (recordUrl, ttsMode = 'vits-uma-genshin-honkai') {
         recordUrl = tmpFile
       }
       if (recordType === 'file' || Config.cloudMode === 'file') {
+        if (!recordUrl) {
+          logger.error('云转码错误：recordUrl 异常')
+          return false
+        }
         const formData = new FormData()
         let buffer
         if (!recordUrl.startsWith('http')) {
@@ -83,9 +87,13 @@ async function uploadRecord (recordUrl, ttsMode = 'vits-uma-genshin-honkai') {
           method: 'POST',
           body: formData
         })
-        let t = await resultres.text()
+        let t = await resultres.arrayBuffer()
         try {
-          result = JSON.parse(t)
+          result = {
+            buffer: {
+              data: t
+            }
+          }
         } catch (e) {
           logger.error(t)
           throw e