数据处理与分析
数据处理、ETL 和分析工具
共 47 个项目
pingcap / tidb
TiDB 是一款云原生分布式数据库，支持 ACID 事务、实时分析和 AI 向量搜索，兼容 MySQL。
ClickHouse / ClickHouse
ClickHouse 是一款高性能实时分析数据库管理系统，专为海量数据 OLAP 场景设计。
apache / superset
Apache Superset 是一个开源的数据可视化和探索平台。
apache / airflow
Apache Airflow：以编程方式编写、调度和监控工作流的平台。
apache / doris
Apache Doris 是面向 AI 智能体的实时分析与混合搜索数据库，支持湖仓一体与向量检索。
cvat-ai / cvat
CVAT 是一款开源的计算机视觉数据标注平台，支持图像、视频、音频和3D数据，并提供AI辅助标注与团队协作功能。
sktime / sktime
统一的时间序列机器学习框架，集成预测、分类、异常检测等功能。
juicedata / juicefs
基于Redis和对象存储的高性能分布式POSIX文件系统。
fivetran / great_expectations
一个强大的数据质量验证框架，通过数据测试和文档化，确保数据管道可靠可维护。
Unstructured-IO / unstructured
将复杂文档（PDF、Word等）转换为结构化数据，为LLM提供干净输入的开源ETL工具。
lance-format / lance
面向多模态AI的开放湖仓格式，性能提升百倍，兼容主流数据工具。
coollabsio / coolify
一个开源可自托管的PaaS平台，让你在自己的服务器上轻松部署网站、数据库和应用，替代Vercel/Heroku/Netlify。
apache / arrow
Apache Arrow 是一个跨语言的列式内存数据格式与工具箱，用于高速数据交换和内存分析。
perspective-dev / perspective
基于 Rust + WebAssembly 的高性能数据可视化分析组件，专为海量实时数据流设计，支持 Python/JavaScript 多语言绑定。
feast-dev / feast
Feast 是开源的特征存储平台，统一管理 AI/ML 特征，确保训练与推理数据的一致性。
reflex-dev / reflex
用纯Python构建高性能Web应用的全栈框架
online-ml / river
Python中的在线机器学习库，支持流式数据增量学习与概念漂移检测。
taosdata / TDengine
一款专为物联网和工业互联网场景设计的高性能、可扩展的时序数据库。
autogluon / autogluon
AutoGluon 是一个自动化机器学习库，只需三行代码即可快速构建高精度模型，涵盖表格、文本、图像和时间序列数据。
explosion / spaCy
💫 Industrial-strength Natural Language Processing (NLP) in Python
volcano-sh / volcano
云原生批处理系统（CNCF 孵化项目），专为 AI、大数据、HPC 等场景设计。
lightdash / lightdash
智能BI平台，基于dbt，实现代码速度分析。
pola-rs / polars
极快的DataFrame查询引擎，基于Rust开发，支持Python和Rust。
OpenRefine / OpenRefine
OpenRefine is a free, open source power tool for working with messy data and improving it
astroautomata / PySR
Symbolic Learning in Python and Julia
rudderlabs / rudder-server
开源的客户数据平台，隐私优先的 Segment 替代方案，用 Go 构建。
evidentlyai / evidently
开源ML/LLM可观测性框架，提供100+指标，评估、测试和监控AI系统与数据管道。
voxel51 / fiftyone
一个用于可视化、分析和优化计算机视觉数据集的开源工具。
getlago / lago
开源计量与基于使用量的计费平台，支持消费追踪、订阅管理、定价迭代、支付编排和收入分析。
ag2ai / faststream
FastStream是异步Python框架，统一事件驱动开发的消息代理、DI、验证、测试与文档生成。
pymc-labs / pymc-marketing
Bayesian marketing toolbox in PyMC. Media Mix (MMM), customer lifetime value (CLV), buy-till-you-die (BTYD) models and more.
dathere / qsv
qsv 是一个基于 Rust 的超快速 CSV/TSV 数据整理工具集，提供 200+ 命令用于数据处理与分析。
academic / awesome-datascience
数据科学领域权威资源汇总，涵盖学习、实践与前沿技术，助力解决现实问题。
StarRocks / starrocks
The world's fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.
databendlabs / databend
基于S3统一架构的云原生数据仓库，支持分析、搜索、AI和Python沙箱。
apache / age
Graph database optimized for fast analysis and real-time data processing. It is provided as an extension to PostgreSQL.
AOT-Technologies / forms-flow-ai
一个开源的表单、工作流与分析一体化解决方案框架，助力企业快速构建智能业务流程。
ibis-project / ibis
the portable Python dataframe library
PostHog / posthog
PostHog 是一站式开发者平台，提供产品分析、会话回放、功能开关等工具，助你构建成功产品。
dlt-hub / dlt
开源Python数据加载库，让数据加载变得简单易用。
microsoft / Data-Science-For-Beginners
10 Weeks, 20 Lessons, Data Science for All!
zenml-io / zenml
ZenML 🙏: One AI Platform from Pipelines to Agents. https://zenml.io.
apache / dolphinscheduler
Apache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code
aws / aws-sdk-pandas
pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL).
unit8co / darts
A python library for user-friendly forecasting and anomaly detection on time series.
pathwaycom / pathway
Python流处理ETL框架，用于实时分析、LLM管道和RAG。
owid / etl
A compute graph for loading and transforming OWID's data