新增管理面板，重写必应token管理，错误修复 (#340)

* 修复引用转发，默认bing模式并发

* 开启stream增加稳定性

* fix: remove queue element only in non-bing mode

* 使用chatgpt-api自带的超时逻辑，文字过多时启动切换到图片输出防止被吞

* Update chat.js

* 添加Bing专用的图片输出样式

* 添加chatgpt的新图片模式，临时处理切换api导致的对话异常

* 修改bing样式表

* 为图片添加外部页面缓存

* 为图片模式添加MathJax

* feat: add switch for qrcode

* 防止script攻击

* 修复网页模板错误

* 修复bing页面引用错误

* 缓存服务器异常时处理

* 添加默认配置加载

* 修复配置文件路径错误

* 删除重复的模板文件，修复二维码地址错误

* 修正图片渲染错误

* 修复引用渲染错误

* 二维码网址统一改为使用本地配置

* 添加关闭思考提示的配置项

* 修复在Windows上无法载入配置文件的问题

* 修复关闭qr的情况下渲染错误

* 改为使用base64传递返回数据

* 当异常过多时使用图片输出

* 添加锅巴面板配置支持

* 补充遗漏的默认配置

* 修复qr模式下引用未被传递的问题

* 修复未将引用数据传输给缓存服务器的问题

* 删除无用的bingTimeoutMs配置项

* 添加消息队列超时弹出

* 优化图片模式处理，解决对话队列卡住的问题

* 添加对图片ocr的支持

* 添加图片识别配置项

* 添加黑名单配置项

* 修复一些bug

* 修改锅巴配置格式和描述

* 传入数据也使用markdown

* 图片识别换行改为marked兼容

* 添加绘图CD配置项

* 独立render模块，添加图片回复引用

* 添加必应风格

* 修复上下文，修改bing样式

* 修复上下文

* 添加Sydney上下文支持

* 调整不同模式下的bing渲染颜色

* 修复样式

* 修复无法结束会话的问题

* fix: 更新版本号

* 修复无法结束对话的问题

* 向缓存服务器传送样式

* 为网址格式的配置添加验证

* 去除重复的Keyv删除，取消锅巴配置格式检查

* 闭合中断的代码块

* 试添加Sydney图片模式的情感显示

* 修复at不兼容

* 处理意外的markdown包裹和结构解析修复

* 修复markdown处理的顺序错误

* 兼容json换行

* 重写completeJSON和使用

* 修复换行格式异常

* 均衡BingToken使用

* 修复删除token的数组处理错误

* 修改token文字描述

* 创建本地缓存服务

* 修复首次使用无法添加bingtoken的问题

* 修复意外的删除格式问题，添加查看token功能

* 修复路由错误，暂时固定ip测试

* 恢复引用功能

* 更新渲染页面

* 更换缓存目录

* 清除调试用消息

* 调整屏幕分辨率

* 使用服务器生成的访问地址

* 改为使用api获取公网ip

* 修复引用显示

* 添加依赖需求

* 更新渲染页面和渲染api

* 修复渲染页面错误

* 修复建议字符串切割，添加帮助路由

* 添加内容中图片数据获取功能

* 试修复suggestbug

* 修复图片导致服务器卡死的问题

* 暂时禁用图片

* 尝试恢复图片

* 添加链接图片识别

* 替换掉request

* 修复可能的responseUrls空值

* 优化格式

* 更新渲染页面

* 尝试新的引用索引

* 取消渲染时旧的策略

* 更新帮助页面

* 修复帮助路由

* 修复渲染页面错误

* 修复错误的正则

* 修改系统api服务

* 添加配置项

* 将新渲染方式加入配置并还原原渲染方式，进行并存

* 暂时取消端口设置功能

* 重新开启端口设置

* 修复旧渲染引用

* 更新帮助样式

* 更新帮助，增强功能

* 有cacheHost的情况下不再附带端口号

* 添加渲染图片的宽度设置

* 添加渲染页面宽度调整，修bug

* 修复二维码不显示

* 添加第三方渲染支持

* 修复一些渲染页面问题

* 更新渲染页面

* 修正错误的变量调用

* 添加新渲染模式bot命名

* 修复空消息问题

* 撤销之前的修复，使用新方法修复

* 修复返回空页面问题

* 尝试不依赖网络获取外网地址

* 修bug，初步创建管理系统

* 依赖名写错了

* 修复错误的异步

* 修正错误的配置调用

* 放弃本机设置的获取方案，对服务器获取多半失效

* 添加配置页面接口

* 更新渲染页面

* 添加依赖

* 修复bug

* 移除windows性能显示，更换依赖

* 添加依赖

* 修复图片异常时不反回文字而是直接报错的问题

* 修改必应token记录和均衡方法，更新渲染页面

* 修复错误

* 修复bug，更新渲染页面

* 更新渲染

* 修复ip错误

* 完善配置页面

* 渲染页面错误修复

* 更新版本号

* 只获取一次有效ip

* 修复渲染页面bug

---------

Co-authored-by: ikechan8370 <geyinchibuaa@gmail.com>
Co-authored-by: Err0rCM <68117733+Err0rCM@users.noreply.github.com>

apps/chat.js

@@ -891,7 +891,7 @@ export class chatgpt extends plugin {
           await this.reply(`出现错误：${err}`, true, { recallMsg: e.isGroup ? 10 : 0 })
         } else {
           // 这里是否还需要上传到缓存服务器呐？多半是代理服务器的问题，本地也修不了，应该不用吧。
-          await this.renderImage(e, use !== 'bing' ? 'content/ChatGPT/index' : 'content/Bing/index', `通信异常,错误信息如下 ${err?.message || err?.data?.message || (typeof (err) === 'object' ? JSON.stringify(err) : err) || '未能确认错误类型！'}`, prompt)
+          await this.renderImage(e, use !== 'bing' ? 'content/ChatGPT/index' : 'content/Bing/index', `通信异常,错误信息如下 ${err?.message || err?.data?.message || (typeof(err) === 'object' ? JSON.stringify(err) : err) || '未能确认错误类型！'}`, prompt)
         }
       }
     }
@@ -1007,7 +1007,7 @@ export class chatgpt extends plugin {
       if (cacheres.ok) {
         cacheData = Object.assign({}, cacheData, await cacheres.json())
       }
-      if (cacheData.error) { await this.reply(`出现错误：${cacheData.error}`, true) } else { await e.reply(await renderUrl(e, viewHost + `page/${cacheData.file}?qr=${Config.showQRCode ? 'true' : 'false'}`, { retType: Config.quoteReply ? 'base64' : '', Viewport: { width: Config.chatViewWidth, height: parseInt(Config.chatViewWidth * 0.56) } }), e.isGroup && Config.quoteReply) }
+      if (cacheData.error || cacheres.status != 200) { await this.reply(`出现错误：${cacheData.error || 'server error ' + cacheres.status}`, true) } else { await e.reply(await renderUrl(e, viewHost + `page/${cacheData.file}?qr=${Config.showQRCode ? 'true' : 'false'}`, { retType: Config.quoteReply ? 'base64' : '', Viewport: { width: Config.chatViewWidth, height: parseInt(Config.chatViewWidth * 0.56) } }), e.isGroup && Config.quoteReply) }
     } else {
       if (Config.cacheEntry) cacheData.file = randomString()
       const cacheresOption = {
@@ -1204,17 +1204,22 @@ export class chatgpt extends plugin {
             const message = error?.message || error?.data?.message || error || '出错了'
             if (message && message.indexOf('限流') > -1) {
               throttledTokens.push(bingToken)
+              let bingTokens = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+              const badBingToken = bingTokens.findIndex(element => element.Token === bingToken)
+              const now = new Date()
+              const hours = now.getHours()
+              now.setHours(hours + 6)
+              bingTokens[badBingToken].State = '受限'
+              bingTokens[index].DisactivationTime = now
+              await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingTokens))
               // 不减次数
             } else if (message && message.indexOf('UnauthorizedRequest') > -1) {
               // token过期了
-              logger.warn(`token${bingToken}过期了，将自动移除`)
-              let savedBingToken = await redis.get('CHATGPT:BING_TOKEN')
-              savedBingToken = savedBingToken.split('|')
-              let tokenId = savedBingToken.indexOf(bingToken)
-              savedBingToken.splice(tokenId, 1)
-              savedBingToken = savedBingToken.filter(function (element) { return element !== '' })
-              await redis.set('CHATGPT:BING_TOKEN', savedBingToken.join('|'))
-              logger.mark(`token${bingToken}已移除`)
+              let bingTokens = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+              const badBingToken = bingTokens.findIndex(element => element.Token === bingToken)
+              bingTokens[badBingToken].State = '过期'
+              await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingTokens))
+              logger.warn(`token${bingToken}已过期`)
             } else {
               retry--
               errorMessage = message === 'Timed out waiting for response. Try enabling debug mode to see more information.' ? (reply ? `${reply}\n不行了，我的大脑过载了，处理不过来了!` : '必应的小脑瓜不好使了，不知道怎么回答！') : message
@@ -1469,34 +1474,49 @@ export class chatgpt extends plugin {
 
 async function getAvailableBingToken (conversation, throttled = []) {
   let allThrottled = false
-  let bingToken = await redis.get('CHATGPT:BING_TOKEN')
-  if (!bingToken) {
+  if (!await redis.get('CHATGPT:BING_TOKENS')) {
     throw new Error('未绑定Bing Cookie，请使用#chatgpt设置必应token命令绑定Bing Cookie')
   }
-  const bingTokens = bingToken.split('|')
-  // 负载均衡
-  if (Config.toneStyle === 'Sydney' || Config.toneStyle === 'Custom') {
-    // sydney下不需要保证同一token
-    let notThrottled = bingTokens.filter(t => throttled.indexOf(t) === -1)
-    if (notThrottled.length > 0) {
-      bingToken = notThrottled[0]
-    } else {
-      // 全都被限流了，随便找一个算了
-      allThrottled = true
-      const select = Math.floor(Math.random() * bingTokens.length)
-      bingToken = bingTokens[select]
+
+  let bingToken = ''
+  let bingTokens = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+  const normal = bingTokens.filter(element => element.State === '正常')
+  const restricted = bingTokens.filter(element => element.State === '受限')
+
+  // 判断受限的token是否已经可以解除
+  for (const restrictedToken of restricted) {
+    const now = new Date()
+    const tk = new Date(restrictedToken.DisactivationTime)
+    if (tk <= now) {
+      const index = bingTokens.findIndex(element => element.Token === restrictedToken.Token)
+      bingTokens[index].Usage = 0
+      bingTokens[index].State = '正常'
     }
-    // const select = Math.floor(Math.random() * bingTokens.length)
-    // bingToken = bingTokens[select]
+  }
+  if (normal.length > 0) {
+    const minElement = normal.reduce((min, current) => {
+      return current.Usage < min.Usage ? current : min
+    })
+    bingToken = minElement.Token
+  } else if (restricted.length > 0) {
+    allThrottled = true
+    const minElement = restricted.reduce((min, current) => {
+      return current.Usage < min.Usage ? current : min
+    })
+    bingToken = minElement.Token
   } else {
+    throw new Error('全部Token均已失效，暂时无法使用')
+  }
+  if (Config.toneStyle != 'Sydney' && Config.toneStyle != 'Custom') {
     // bing 下，需要保证同一对话使用同一账号的token
-    if (!conversation.bingToken) {
-      const select = Math.floor(Math.random() * bingTokens.length)
-      bingToken = bingTokens[select]
-    } else if (bingTokens.indexOf(conversation.bingToken) > -1) {
+    if (bingTokens.findIndex(element => element.Token === conversation.bingToken) > -1) {
       bingToken = conversation.bingToken
     }
   }
+  // 记录使用情况
+  const index = bingTokens.findIndex(element => element.Token === bingToken)
+  bingTokens[index].Usage += 1
+  await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingTokens))
   return {
     bingToken,
     allThrottled

apps/draw.js

@@ -239,17 +239,36 @@ export class dalle extends plugin {
       this.reply('请提供绘图prompt')
       return false
     }
-    let bingToken = await redis.get('CHATGPT:BING_TOKEN')
+    
+    let bingToken = ''
+    if (await redis.exists('CHATGPT:BING_TOKENS') != 0) {
+      let bingTokens = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+      const normal = bingTokens.filter(element => element.State === '正常')
+      const restricted = bingTokens.filter(element => element.State === '受限')
+      if (normal.length > 0) {
+        const minElement = normal.reduce((min, current) => {
+          return current.Usage < min.Usage ? current : min
+        })
+        bingToken = minElement.Token
+      } else if (restricted.length > 0) {
+        allThrottled = true
+        const minElement = restricted.reduce((min, current) => {
+          return current.Usage < min.Usage ? current : min
+        })
+        bingToken = minElement.Token
+      } else {
+        throw new Error('全部Token均已失效，暂时无法使用')
+      }
+    }
     if (!bingToken) {
       throw new Error('未绑定Bing Cookie，请使用#chatgpt设置必应token命令绑定Bing Cookie')
     }
-    const bingTokens = bingToken.split('|')
-    // 负载均衡
-    if (Config.toneStyle === 'Sydney' || Config.toneStyle === 'Custom') {
-      // sydney下不需要保证同一token
-      const select = Math.floor(Math.random() * bingTokens.length)
-      bingToken = bingTokens[select]
-    }
+    // 记录token使用
+    let bingTokens = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+    const index = bingTokens.findIndex(element => element.Token === bingToken)
+    bingTokens[index].Usage += 1
+    await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingTokens))
+
     let client = new BingDrawClient({
       baseUrl: Config.sydneyReverseProxy,
       userToken: bingToken

apps/help.js

@@ -303,7 +303,7 @@ export class help extends plugin {
   }
 
   async newHelp (e) {
-    let use = e.msg.replace(/^#帮助-/, '').toUpperCase()
+    let use = e.msg.replace(/^#帮助-/, '').toUpperCase().trim()
     await renderUrl(e, `http://127.0.0.1:${Config.serverPort || 3321}/help/` + use, {Viewport: {width: 800, height: 600}})
   }
   

apps/management.js

@@ -2,7 +2,7 @@ import plugin from '../../../lib/plugins/plugin.js'
 import { Config } from '../utils/config.js'
 import { BingAIClient } from '@waylaidwanderer/chatgpt-api'
 import { exec } from 'child_process'
-import { checkPnpm, formatDuration, parseDuration } from '../utils/common.js'
+import { checkPnpm, formatDuration, parseDuration, getPublicIP } from '../utils/common.js'
 import SydneyAIClient from '../utils/SydneyAIClient.js'
 
 export class ChatgptManagement extends plugin {
@@ -43,6 +43,11 @@ export class ChatgptManagement extends plugin {
           fnc: 'getBingAccessToken',
           permission: 'master'
         },
+        {
+          reg: '#chatgpt(迁移|恢复)(必应|Bing |bing )(token|Token)',
+          fnc: 'migrateBingAccessToken',
+          permission: 'master'
+        },
         {
           reg: '^#chatgpt切换浏览器$',
           fnc: 'useBrowserBasedSolution',
@@ -137,6 +142,16 @@ export class ChatgptManagement extends plugin {
           /** 执行方法 */
           fnc: 'enableGroupContext',
           permission: 'master'
+        },
+        {
+          reg: '^#(设置|修改)管理密码',
+          fnc: 'setAdminPassword',
+          permission: 'master'
+        },
+        {
+          reg: '^#chatgpt系统(设置|配置|管理)',
+          fnc: 'adminPage',
+          permission: 'master'
         }
       ]
     })
@@ -182,22 +197,49 @@ export class ChatgptManagement extends plugin {
     return false
   }
 
+  async migrateBingAccessToken () {
+    let token = await redis.get('CHATGPT:BING_TOKEN')
+    if (token) {
+      token = token.split('|')
+      token = token.map((item, index) => (
+        {
+          Token: item,
+          State: '正常',
+          Usage: 0,
+        }
+      ))
+    } else {
+      token = []
+    }
+    let tokens = await redis.get('CHATGPT:BING_TOKENS')
+    if (tokens) {
+      tokens = JSON.parse(tokens)
+    } else {
+      tokens = []
+    }
+    await redis.set('CHATGPT:BING_TOKENS', JSON.stringify([...token, ...tokens]))
+    await this.reply(`迁移完成`, true)
+  }
+
   async getBingAccessToken (e) {
-    let tokens = await redis.get('CHATGPT:BING_TOKEN')
-    tokens = tokens.split('|')
-    tokens = tokens.map((item, index) => (
-      `【${index}】 Token：${item.substring(0, 5 / 2) + '...' + item.substring(item.length - 5 / 2, item.length)}`
-    )).join('\n')
+    let tokens = await redis.get('CHATGPT:BING_TOKENS')
+    if (tokens) tokens = JSON.parse(tokens) 
+    else tokens = []
+    tokens = tokens.length > 0 ? tokens.map((item, index) => (
+      `【${index}】 Token：${item.Token.substring(0, 5 / 2) + '...' + item.Token.substring(item.Token.length - 5 / 2, item.Token.length)}`
+    )).join('\n') : '无必应Token记录'
     await this.reply(`${tokens}`, true)
     return false
   }
+
   async delBingAccessToken (e) {
     this.setContext('deleteBingToken')
-    let tokens = await redis.get('CHATGPT:BING_TOKEN')
-    tokens = tokens.split('|')
-    tokens = tokens.map((item, index) => (
-      `【${index}】 Token：${item.substring(0, 5 / 2) + '...' + item.substring(item.length - 5 / 2, item.length)}`
-    )).join('\n')
+    let tokens = await redis.get('CHATGPT:BING_TOKENS')
+    if (tokens) tokens = JSON.parse(tokens) 
+    else tokens = []
+    tokens = tokens.length > 0 ? tokens.map((item, index) => (
+      `【${index}】 Token：${item.Token.substring(0, 5 / 2) + '...' + item.Token.substring(item.Token.length - 5 / 2, item.Token.length)}`
+    )).join('\n') : '无必应Token记录'
     await this.reply(`请发送要删除的token编号\n${tokens}`, true)
     return false
   }
@@ -226,38 +268,57 @@ export class ChatgptManagement extends plugin {
       } else {
         logger.error('bing token 无效', res)
         // 移除无效token
+        if (await redis.exists('CHATGPT:BING_TOKENS') != 0) {
+          let bingToken = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+          const element = bingToken.findIndex(element => element.token === token)
+          if (element >= 0) {
+            bingToken[element].State = '异常'
+            await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingToken))
+          }
+        }
         await this.reply(`经检测，Bing Token无效。来自Bing的错误提示：${res.result?.message}`)
       }
     })
-    if (await redis.exists('CHATGPT:BING_TOKEN') != 0) {
-      let bingToken = await redis.get('CHATGPT:BING_TOKEN')
-      bingToken = bingToken.split('|')
-      if (!bingToken.includes(token)) bingToken.push(token)
-      bingToken = bingToken.filter(function (element) { return element !== '' })
-      token = bingToken.join('|')
+    let bingToken = []
+    if (await redis.exists('CHATGPT:BING_TOKENS') != 0) {
+      bingToken = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+      if (!bingToken.some(element => element.token === token)) bingToken.push({
+        Token: token,
+        State: '正常',
+        Usage: 0,
+      })
+    } else {
+      bingToken = [{
+        Token: token,
+        State: '正常',
+        Usage: 0,
+      }]
     }
-    await redis.set('CHATGPT:BING_TOKEN', token)
+    await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingToken))
     await this.reply('Bing Token设置成功', true)
     this.finish('saveBingToken')
   }
 
   async deleteBingToken () {
     if (!this.e.msg) return
-    let bingToken = await redis.get('CHATGPT:BING_TOKEN')
-    bingToken = bingToken.split('|')
     let tokenId = this.e.msg
-    if (bingToken[tokenId] === null || bingToken[tokenId] === undefined) {
-      await this.reply('Token编号错误！', true)
+    if (await redis.exists('CHATGPT:BING_TOKENS') != 0) {
+      let bingToken = JSON.parse(await redis.get('CHATGPT:BING_TOKENS'))
+      if (tokenId >= 0 && tokenId < bingToken.length) {
+        const removeToken = bingToken[tokenId].Token
+        bingToken.splice(tokenId,1)
+        await redis.set('CHATGPT:BING_TOKENS', JSON.stringify(bingToken))
+        await this.reply(`Token ${removeToken.substring(0, 5 / 2) + '...' + removeToken.substring(removeToken.length - 5 / 2, removeToken.length)} 移除成功`, true)
+        this.finish('deleteBingToken')
+      } else {
+        await this.reply('Token编号错误！', true)
+        this.finish('deleteBingToken')
+        return
+      }
+    } else {
+      await this.reply('Token记录异常', true)
       this.finish('deleteBingToken')
-      return
     }
-    const removeToken = bingToken[tokenId]
-    bingToken.splice(tokenId, 1)
-    bingToken = bingToken.filter(function (element) { return element !== '' })
-    let token = bingToken.join('|')
-    await redis.set('CHATGPT:BING_TOKEN', token)
-    await this.reply(`Token ${removeToken.substring(0, 5 / 2) + '...' + removeToken.substring(removeToken.length - 5 / 2, removeToken.length)} 移除成功`, true)
-    this.finish('deleteBingToken')
   }
 
   async saveToken () {
@@ -653,4 +714,24 @@ export class ChatgptManagement extends plugin {
   async queryBingPromptPrefix (e) {
     await this.reply(Config.sydney, true)
   }
+
+  async setAdminPassword (e) {
+    this.setContext('saveAdminPassword')
+    await this.reply('请发送系统管理密码', true)
+    return false
+  }
+  
+  async saveAdminPassword (e) {
+    if (!this.e.msg) return
+    let passwd = this.e.msg
+    await redis.set('CHATGPT:ADMIN_PASSWD', passwd)
+    await this.reply('设置成功', true)
+    this.finish('saveAdminPassword')
+  }
+
+  async adminPage (e) {
+    const viewHost = Config.serverHost ? `http://${Config.serverHost}/` : `http://${await getPublicIP()}:${Config.serverPort || 3321}/`
+    await this.reply(`请登录${viewHost + 'admin/settings'}进行系统配置`, true)
+  }
+  
 }