Building RAG-based LLM Applications for Production

• by Goku Mohandas and Philipp Moritz

• Useful Guide to develop a retrieval augmented generation (RAG) based LLM application from scratch.

NVIDIA LLM News

• NVDIA 关于LLM更新的newsletter

2302.11474.pdf (arxiv.org)

• 这篇论文是关于一个新的算法库，主要包含随机线性代数算法(randomized linear algebra). 这些随机算法在很多情况下相比传统算法有不小的优势。举个例子，我们常用的线性回归方法，就可以用这些随机算法去解。这篇文章主要是想建造一个大型的框架，并且使这些算法的界面标准化，进而使大家都有一个标准的standard library。

CUDA Zone - Library of Resources | NVIDIA Developer

• 这篇文章介绍了英伟达的CUDA软件，也就是大多数机器学习算法所依赖的软件。大多数机器学习模型都是在gpu上面运行的，而CUDA就是配合gpu这套硬件的软件。很多常用的包，像pytorch，他们的后端都是CUDA.

NVIDIA Unveils Next-Generation GH200 Grace Hopper Superchip Platform for Era of Accelerated Computing and Generative AI | NVIDIA Newsroom

• 这篇文章是关于英伟达推出来的新一代gpu GH200. 文中介绍了新一代gpu的算力以及一些别的突出点。

Perlmutter Architecture

• 并行计算自然离不开超级计算机。超级计算机的用途非常广泛，其中包含物理，化学，天文，气象的一些大型的模拟。而伯克利附近山上的劳伦斯实验室，就有这么一台超级计算机。根据今年六月的排名，在所有参与排名电脑中在前十以内。

Distance-Aware Hierarchical Federated Learning in Blockchain-Enabled Edge Computing Network

• 本文提出了一种多层区块链启用的分层联邦学习（HFL）网络，以在保护数据隐私的同时实现低延迟的模型训练。研究还分析了由于不均匀的数据分布导致的模型准确性问题，提供了数学表达式来表示模型误差上限。为了提高学习性能，本研究提出了距离感知的HFL（DAHFL）算法，它通过优化ID关联策略和资源分配来改进联邦学习。最后，通过区块链模拟平台展示了系统的工作过程，并通过模拟结果证明了DAHFL算法的效率。概方案可以在利用区块链联邦学习（BlockFL）在数据隐私保护方面优势的同时，提高机器学习的性能和准确性问题，从而平衡实际问题中数据差异。虽然如本文提到的受有限的网络资源的影响，但也为未来应用方面的研究提供了更多可能方案。

• FL开源项目：https://github.com/FederatedAI/FATE

物联网与混合区块链：Hybrid-IoT: Hybrid Blockchain Architecture for Internet of Things - PoW Sub-Blockchains

• 互联网物联网（IoT）从早期发展为合作的智能设备分布式系统，但当前的中心化云计算平台存在高维护成本、不支持实时应用、安全和信任问题等缺点。将区块链技术应用于IoT有助于克服这些问题。文章介绍了一种名为Hybrid-IoT的混合区块链架构，其中IoT设备形成PoW子区块链，并使用BFT互连器框架进行连接。研究关注PoW子区块链的形成，采用一系列基于维度、度量和限制的准则。作者进行了性能和安全性评估以验证方法的有效性。

去中心化APP：Decentralized Applications: The Blockchain-Empowered Software System

• 这篇文章主要探讨了区块链技术的引人关注之处以及相关的挑战。它提到了区块链在学术界和资本市场中的显著影响，同时强调了大量可用加密货币和众多ICO欺诈案引发的争论。文章追溯了区块链系统的发展，强调了去中心化应用程序（dApps）的重要性，并讨论了如何实现满足dApps理想特性的区块链发展方向。文章还提到对最先进的dApps进行了调查，为读者提供了对dApp研究和区块链最新发展的概述。文章关注区块链技术的前景和潜力，以及它在未来的应用和发展中的价值，并列举了若干dApp成功案例，为后续去中心化APP的发展提供了指引。

非同质化通证（NFT）：Non-Fungible Token (NFT): Overview, Evaluation, Opportunities and Challenges

• NFT市场在近年来迅速崛起，源自以太坊的代币标准，它的独特之处在于每个代币都具有可识别的特征，使其能够代表虚拟和数字资产的唯一身份。这使得拥有者可以根据属性的特征如年龄、稀有度和流动性等自由交易，并赋予这些资产自定义价值。NFT市场的繁荣激发了去中心化应用市场的发展。然而，尽管吸引了巨大的全球关注，NFT生态系统的发展仍然初步，技术也尚未成熟，因此新手可能会因缺乏系统性的总结而感到困惑。这份技术报告在多个方面深入研究了NFT生态系统，包括最先进的解决方案、技术组成、协议、标准、期望的属性，以及关于安全演进的讨论，为NFT领域的当前状态提供了首次的系统研究。同时，文章还指出NFT市场面临的挑战，包括可用性、治理、可扩展性等问题，这些问题是确保NFT市场可持续成功的关键。