AI新闻动态（2024-10-13到2024-10-19)

[ikaijua]

AI新闻动态（2024-10-13到2024-10-19)

目录

AI产品

1. Adobe MAX 2024上发布了Adobe Creative Cloud的最新版本，涉及Photoshop、Illustrator、Premiere Pro等多个应用
2. Krea.ai上线一个集合站，可以使用Runway、Luma、可灵、海螺等AI视频生成工具

机器人

AI研究

1. 苹果发布了多模态大模型MM1.5，旨在增强对文本丰富的图像的理解以及多图像推理的能力
2. 英伟达发布性能强大的Llama-3.1-Nemotron-70B-Instruct模型
3. 腾讯AI Lab联合中科大发布了一份针对类SORA视频生成模型的测评报告
4. 上海交通大学、剑桥大学和吉利汽车研究院联合开发的文本转语音模型F5-TTS

AI洞察

1. SpaceX首次完成筷子夹火箭式星舰回收
2. 诺奖得主哈萨比斯最新访谈：将AI仅视为一种技术是错误的，AI将成为“划时代的定义性”技术

AI投资

1. 美股科技股反弹引领美股新趋势，财报季成关键转折点
2. OpenAI与其主要投资者微软之间出现了关系紧张的迹象
3. 地平线机器人启动港股IPO，计划募资50亿人民币

[ikaijua]

2024-10-15 美股科技股反弹引领美股新趋势，财报季成关键转折点

1. 美联储降息和对经济软着陆的乐观预期提升了市场的风险偏好，导致美国科技股自9月以来出现反弹，英伟达股价创下新高。
2. 英伟达股价上涨2.4%，市值接近苹果，过去一个月累计反弹18%，这可能标志着美股叙事逻辑的转变。
3. 今年夏天，科技股经历了大调整，但自9月美联储降息以来，科技股开始“重整旗鼓”，IT和通信服务板块表现强劲。
4. 市场对科技股的反弹持观望态度，分析师对这轮反弹的看法存在分歧，有观点认为这可能是科技股重夺美股话语权的开始，也有观点认为这可能只是短暂的补涨行情。
5. 财报季的结果将决定美股风格是否会继续轮动，上周银行股的超预期业绩推动了市场对美国经济前景的乐观情绪。
6. 债券市场与股市的乐观情绪不同，收益率上升，市场分析认为股债之间的分歧不会永远持续。
7. 未来几周，市场将迎来多家金融和消费巨头以及大型科技股的财报，这些财报的结果将对美股市场产生重要影响。

媒体文章：

• 华尔街见闻：英伟达创新高是标志！美联储9月降息以来，美股逻辑又变了

[ikaijua]

2024-10-14 Adobe MAX 2024上发布了Adobe Creative Cloud的最新版本，涉及Photoshop、Illustrator、Premiere Pro等多个应用

1. Adobe Photoshop引入了重大更新，包括改进的“去除工具”中的“干扰移除”功能，以及由Adobe Firefly生成AI驱动的“生成填充”和“生成扩展”功能，提供更真实的结果和更多控制。
2. Adobe Premiere Pro推出了“生成扩展”功能，使用Adobe Firefly生成AI无缝地向视频剪辑的开头或结尾添加帧，以改善编辑和过渡。
3. Adobe Illustrator增强了核心矢量设计工作流程，包括新的“对象沿路径”功能、增强的“图像追踪”功能和现在普遍可用的“样机”功能。
4. Adobe InDesign推出了新的生成AI功能，如“生成扩展”和“文本到图像”，并引入了用于在设计中添加数学方程式的MathML，以及将InDesign文档导出到Adobe Express的功能。
5. Adobe Lightroom通过“生成移除”、“快速操作”和“内容凭证”等功能，使照片编辑更加快速和高效。
6. Adobe介绍了Project Neo（测试版），这是一个为通常使用Photoshop和Illustrator等2D设计应用的设计师打造的全新3D内容创建方法，以及Adobe Firefly Video Model和Frame.io Version 4的更新，进一步增强了视频创作和创意工作流程管理的能力。

官方博客：https://blog.adobe.com/en/publish/2024/10/14/adobe-max-2024-more-power-creators

[ikaijua]

2024-10-14 苹果发布了多模态大模型MM1.5，旨在增强对文本丰富的图像的理解以及多图像推理的能力

1. MM1.5基于MM1架构训练而成，采用了以数据为中心的模型训练方法，系统地探索不同数据混合物的影响。
2. 模型参数范围从1B到30B，包括密集型和专家混合型（MoE）变体，证明了即使在小规模参数下也能实现强大性能。
3. 苹果推出了两个专门模型：MM1.5-Video，用于视频理解；MM1.5-UI，用于处理移动设备用户界面（UI）理解。
4. MM1.5-UI模型未来可能作为iOS背后的AI，处理视觉引用与定位任务，总结屏幕功能，或通过对话与用户交互。
5. 尽管MM1.5在基准测试中表现优秀，苹果团队计划通过融合更多数据和设计更复杂架构来进一步提升模型对移动设备UI的理解能力。

论文地址：https://arxiv.org/abs/2409.20566
Hugging Face：https://huggingface.co/papers/2409.20566

[ikaijua]

2024-10-14 SpaceX首次完成筷子夹火箭式星舰回收

1. SpaceX成功使用发射架机械臂捕获并回收了一枚试飞返航的助推火箭，实现了火箭回收的新模式。
2. 这一壮举是在星舰第五次试飞中完成的，标志着超重型火箭‘Super Heavy’可重复使用技术的重要进展。
3. 试飞的主要目标是在发射场捕获超重型助推器，以及星舰本体的精准受控溅落。
4. 助推火箭成功返回发射台，并被命名为‘Mechazilla’的机械臂系统捕获。
5. 马斯克曾设想火箭一级助推器能够返回发射台，并在简单检修后再次发射，如今这一设想已实现。
6. 众多业界领袖和NASA局长对SpaceX的成就表示祝贺。
7. SpaceX的火星移民计划依靠此类可重复使用的火箭技术，每一次试飞都在为最终目标铺路。

媒体文章：

• 机器之心：首次！SpaceX完成「筷子夹火箭」式星舰回收，马斯克8年前设想成真

[ikaijua]

2024-10-12 Krea.ai上线一个集合站，可以使用Runway、Luma、可灵、海螺等AI视频生成工具

1. Krea.ai的集合站旨在为AI视频创作者提供一个类似POE的平台，减少订阅多个服务的费用。
2. 该平台目前支持Luma、Runway、可灵、海螺四个顶级AI视频模型，但尚未包括所有模型的图生视频功能。
3. Krea.ai的定价策略是35美元专业版，提供10000积分每月，不同视频生成服务根据积分消耗不同。
4. 尽管Krea.ai的价格比单独购买AI视频网站服务贵约1/3，但它提供了跨平台的便利性。
5. Krea.ai被看好成为AI创作者领域中的POE，因为它快速、懂用户需求，并能提供一站式服务体验。

媒体文章：

• 数字生命卡兹克：KREA集结了AI视频的四大金刚，誓要做AI创作者的"POE"

[ikaijua]

2024-10-17 地平线机器人启动港股IPO，计划募资50亿人民币

1. 地平线拟在港股IPO，募资最多54亿港元，将成为今年港股规模最大IPO之一。
2. 基石投资者包括阿里巴巴、百度，认购超过15.65亿人民币。
3. 高盛、摩根士丹利和中信建投国际为联席保荐人。
4. 预计IPO所得资金的70%将用于研发。
5. 预计2030年中国乘用车自动驾驶解决方案中80%将是高端解决方案。
6. 地平线在ADAS及AD解决方案市场中领先，客户包括中国前十大OEM。

媒体文章：

• 华尔街见闻：阿里、百度领投，智驾龙头地平线机器人赴港上市，计划募集50亿元 | IPO见闻

[ikaijua]

2024-10-19 OpenAI与其主要投资者微软之间出现了关系紧张的迹象

1. OpenAI 正面临财务压力、管理层震荡以及微软与 OpenAI 员工之间的分歧。而微软高管则越来越担心他们的人工智能工作过于依赖 OpenAI。
2. OpenAI 获得微软巨额投资时，它同意达成一项独家协议——从微软购买计算能力，并与这家科技巨头在新的生成式 AI 领域密切合作。然而，在过去的一年里，OpenAI 一再尝试谈判从而降低成本，并希望能够从其他公司购买算力资源。而据知情人士透露，今年 6 月，微软同意在合同中做出例外处理。这使得 OpenAI 能够与 Oracle 签订一份约 100 亿美元的计算合同，Oracle 提供AI 大模型训练的算力，而微软则提供驱动这些硬件的软件。据一位知情人士透露，最近几周，OpenAI 与微软就未来的一份合同进行了谈判，谈判减少了微软向OpenAI收取算力资源费用的金额。
3. 今年 3 月，微软支付了至少 6.5 亿美元，把 OpenAI 的竞争对手 Inflection 几乎挖空。Inflection 的前CEO兼联合创始人 Mustafa Suleyman 现在负责管理微软的消费级 AI 新团队，致力于基于 OpenAI 软件为消费者打造人工智能技术。据两位熟悉微软计划的人士透露，他会是微软长期努力打造可以取代 OpenAI 技术的关键人物。
4. 据两位知情人士透露，最近一些 OpenAI 员工抱怨称，Suleyman 在一次视频会议中对一名 OpenAI 员工大声斥责，因为他认为这家初创公司未能以足够快的速度向微软交付新技术。还有一些人对微软的工程师下载重要的 OpenAI 软件时没有遵守双方协议的操作流程感到不满。
5. OpenAI 的计划之一是确保来自战略投资者的资金，这些投资者不仅仅提供资金，还能以其他方式帮助提升 OpenAI 的前景。这些组织包括苹果、芯片制造商英伟达，以及由阿联酋控制的科技投资公司 MGX。本月早些时候，OpenAI 完成了由 Thrive Capital 领投的 66 亿美元融资，英伟达、MGX 以及其他公司也参与了此次融资。虽然因为今年九月 OpenAI 又出现了高层动荡，苹果在最后时刻选择退出，但微软在这一轮仍然跟进了。
6. 据称，OpenAI与微软的合同中包含一项条款，如果OpenAI开发出通用人工智能（AGI），微软将失去对OpenAI技术的使用权。
7. 据《华尔街日报》报道，基于最新一轮融资的结果，微软正与 OpenAI 就股权展开博弈。微软寻求以迄今为止向 OpenAI 注入的 140 亿美元现金换取大量股权，两家公司都在向投资银行寻求谈判的建议。
8. 在转向营利机构之后，除了弄清楚微软将拥有多少股份以外，双方还必须弄清楚它们将各自拥有哪些治理权。OpenAI 总裁 Greg Brockman 计划最早于 11 月结束长期休假，回到谈判当中来。

媒体文章：

• 机器之心：OpenAI若造出AGI，就能从微软独立：股权争夺战开打，两边都找好了投行

[ikaijua]

2024-10-17 英伟达发布性能强大的Llama-3.1-Nemotron-70B-Instruct模型

1. 该模型在性能上超越了OpenAI的GPT-4和Anthropic的Claude-3.5 sonnet。
2. Llama-3.1-Nemotron-70B-Instruct基于Llama-3.1-70B打造，性能仅次于OpenAI最新模型。
3. 模型已在线体验，但在数学等专业领域表现有待优化。
4. 英伟达开源训练数据集HelpSteer2，包括大量提示响应。
5. 英伟达还开源了Llama-3.1-Nemotron-70B-Reward模型，用于预测LLM响应质量。
6. 部署模型需满足特定硬件和存储要求。
   

模型合集地址：https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8

体验地址：https://huggingface.co/chat/

媒体文章：

• 机器之心：英伟达开源最新大模型Nemotron 70B后，只有OpenAI o1一个对手了

[ikaijua]

2024-10-16 腾讯AI Lab联合中科大发布了一份针对类SORA视频生成模型的测评报告

1. 对现阶段视频生成领域的一次全面梳理和深度评估。评估了 13 个主流模型，包括 10 个闭源和 3 个最新开源模型
2. 之前视频生成测评报告里多用客观数值指标来判断模型的能力，但目前的自动化评估仍然难以完全反映模型的真实表现并且难以对齐人类偏好，同时测评的模型有较大的滞后性，且极少有生成视频的案例梳理，难以体现视频生成研究的前沿性。
3. 这个项目以最直观的测评方式：把测评视频公开，把答案交给读者，强调了人眼观感的重要性，读者可以在网站上直接观看并对比多个模型的生成结果来直观感受。
4. 相较于之前的Stable Diffusion类视频模型，新模型在画质、动作自然度、视觉-语言对齐和控制精度上显著进步。
5. 测评涵盖了文生视频（T2V）、图生视频（I2V）和视频到视频（V2V）的生成模型。设计了700多个生成提示词和图片从多个角度评估了13个主流模型，生成超过8000个视频案例。帮助大家更好地理解现在模型的能力与不足。

论文链接：The Dawn of Video Generation: Preliminary Explorations with SORA-like Models
Github链接：https://github.com/AILab-CVC/VideoGen-Eval
项目网站：https://ailab-cvc.github.io/VideoGen-Eval/

媒体文章：

• 机器之心：实测13个类Sora视频生成模型，8000多个案例，一次看个够

[ikaijua]

2024-10-18 诺奖得主哈萨比斯最新访谈：将AI仅视为一种技术是错误的，AI将成为“划时代的定义性”技术

1. 哈萨比斯认为实现人工通用智能（AGI）可能还需要10年时间，并需要两三个重大创新。
2. 哈萨比斯重申DeepMind的目标是达到AGI，并强调DeepMind仍然是一家以研究为主导的机构。
3. 哈萨比斯提到他过去常常在午夜到凌晨3点间进行思考和阅读，但现在更多时间用于电话会议。
4. DeepMind正在开展多个实用项目，如蛋白质折叠和天气预报，同时也在推动AGI的发展。
5. 哈萨比斯提到未来的AI系统将不仅限于处理语言，而是多模态的，能够处理视觉、音频等多种输入。
6. 他强调AI技术存在风险，需要谨慎对待，并倡导国际合作和深入研究以确保AI的积极影响。

Google DeepMind的x文章：https://x.com/GoogleDeepMind/status/1846974292963066199

B站视频：中杯量子位/“地球上最聪明的人之一！”从游戏天才到诺奖得主，哈萨比斯的开挂人生

媒体文章：

• 量子位：诺奖得主哈萨比斯最新访谈：仅仅将AI视作一种技术是错误的

[ikaijua]

2024-10-15 上海交通大学、剑桥大学和吉利汽车研究院联合开发的文本转语音模型F5-TTS

1. 该系统无需复杂设计，如持续时间模型、文本编码器和音素对齐，能够实现快速训练，并达到RTF（Real-Time Factor, 实时因素）0.15的推理速度，明显优于当前基于扩散的TTS模型。
2. F5-TTS使用ConvNeXt对输入文本进行细化，以改善与语音的对齐，解决了E2-TTS中存在的鲁棒性问题。
3. F5-TTS提出了一种新的推理时采样策略，称为Sway Sampling，它显著提高了模型的性能和效率。这种采样策略可以轻松地应用于现有的基于流匹配的模型，而无需重新训练。
4. F5-TTS在公共100K小时多语言数据集上训练，展示了高度自然和富有表现力的零样本能力，以及无缝的代码切换能力。

论文：https://arxiv.org/abs/2410.06885
模型下载：https://huggingface.co/SWivid/F5-TTS
项目地址：https://github.com/SWivid/F5-TTS
Demo：

• https://huggingface.co/spaces/mrfakename/E2-F5-TTS
• https://modelscope.cn/studios/modelscope/E2-F5-TTS

媒体文章：

• 语音之家：F5-TTS：上海交大开源超逼真声音克隆TTS，15秒克隆声音
  
• 魔搭ModelScope社区：交大x-lance跨媒体语言智能实验室等联合开源F5-TTS！零样本语音复刻，生成流畅，情感丰富！
• z先生的备忘录：【我有AI语音员工啦】实操将F5-TTS语音合成模型接入飞书机器人中，从此我也是老板啦!