数据可视化

相关推荐

• Oinone 7天入门到精通

  4.1.25 框架之搜索引擎

  一、使用场景 在碰到大数据量并且需要全文检索的场景，我们在分布式架构中基本会架设ElasticSearch来作为一个常规解决方案。在oinone体系中增强模型就是应对这类场景，其背后也是整合了ElasticSearch。 二、整体介绍 oinone与es整合设计图 图4-1-25-1 Oinone与es整合设计图 基础环境安装 Canal安装 详见4.1.10【函数之触发与定时】一文 修改Canal配置并重启 新增Canal的实例【destinaion: pamirs】，监听分表模型的binlog【filter: demo.demo_core_sharding_model……】用于增量同步 pamirs: middleware: data-source: jdbc-url: jdbc:mysql://localhost:3306/canal_tsdb?useUnicode=true&characterEncoding=utf-8&verifyServerCertificate=false&useSSL=false&requireSSL=false driver-class-name: com.mysql.cj.jdbc.Driver username: root password: oinone canal: ip: 127.0.0.1 port: 1111 metricsPort: 1112 zkClusters: – 127.0.0.1:2181 destinations: – destinaion: pamirschangedata name: pamirschangedata desc: pamirschangedata slaveId: 1235 filter: demo\.demo_core_pet_talent dbUserName: root dbPassword: oinone memoryStorageBufferSize: 65536 topic: CHANGE_DATA_EVENT_TOPIC dynamicTopic: false dbs: – { address: 127.0.0.1, port: 3306 } – destinaion: pamirs id: 1234 name: pamirs desc: pamirs slaveId: 1234 filter: demo\.demo_core_sharding_model_0,demo\.demo_core_sharding_model_1,demo\.demo_core_sharding_model_2,demo\.demo_core_sharding_model_3,demo\.demo_core_sharding_model_4,demo\.demo_core_sharding_model_5,demo\.demo_core_sharding_model_6,demo\.demo_core_sharding_model_7 dbUserName: root dbPassword: oinone memoryStorageBufferSize: 65536 topic: BINLOG_EVENT_TOPIC dynamicTopic: false dbs: – { address: 127.0.0.1, port: 3306 } tsdb: enable: true jdbcUrl: "jdbc:mysql://127.0.0.1:3306/canal_tsdb" userName: root password: oinone mq: rocketmq rocketmq: namesrv: 127.0.0.1:9876 retryTimesWhenSendFailed: 5 dubbo: application: name: canal-server version: 1.0.0 registry: address: zookeeper://127.0.0.1:2181 protocol: name: dubbo port: 20881 scan: base-packages: pro.shushi server: address: 0.0.0.0 port: 10010 sessionTimeout: 3600 图4-1-25-2 修改Canal配置并重启 ES安装 下载安装包官方下载地址，也可以直接下载elasticsearch-8.4.1-darwin-x86_64.tar.gz.txt(361.7 MB)，下载后去除后缀.txt，然后解压文件 替换安装目录/config下的[elasticsearch.yml](elasticsearch)(1 KB)，主要是文件中追加了三个配置 xpack.security.enabled: false xpack.security.http.ssl.enabled: false xpack.security.transport.ssl.enabled: false 图4-1-25-3 elasticsearc.yml追加三个配置 启动 a. 导入环境变量（ES运行时需要JDK18及以上版本JDK运行环境, ES安装包中包含了一个JDK18版本） # export JAVA_HOME=/Users/oinone/Documents/oinone/es/elasticsearch-8.4.1/jdk.app/Contents/Home/ export JAVA_HOME=ES解压安装目录/jdk.app/Contents/Home/ 图4-1-25-4 导入环境变量 b. 运行ES ## nohup /Users/oinone/Documents/oinone/es/elasticsearch-8.4.1/bin/elasticsearch >> $TMPDIR/elastic.log 2>&1 & nohup ES安装目录/bin/elasticsearch >> $TMPDIR/elastic.log 2>&1 & 图4-1-25-5 运行ES 停止ES lsof…

  史, 昂

  2024年5月23日

  1.1K000

• 庄卓然

  从2009年加入阿里至今，经历了“三淘”时期、天猫时期、双十一，到最后的all in无线手淘时期，几乎是赶上了淘系发展的所有历史性事件。在这个过程中，每一次业务的变革都催生着技术的变迁，倒逼着我们用技术的方式去解决业务问题：在存储、IO、网络等环节满足不了淘系的业务规模时，开始去IOE，最后演化成了阿里云；当业务的规模大到不能通过简单加机器的方式去做调整、当开发的规模大到所有人在一起开发会互相影响的的时候，我们开始做SOA改造，最后演化成了业务中台；在经历了几届双十一后的巨大挑战后，我们开创了里程碑式的全链路压测；在手淘时代，为了解决动态发版问题，我们植入容器概念，搭建了可动态插拔的三层架构，一年实现了500多次的发版；为了同时满足写一套代码就解决多端开发和高并发的性能问题，我们做了weex，最后还捐给了开源社区…… 每一次的业务需求推动技术进步，而技术的进步永远会超出我们的想象！ 同为技术宅，我在Oinone身上能清晰地感受到技术演进的脉络，企业在数字化时代，需要一个能快速上手、全面设计、灵活适应且低成本的技术工具，时代的变迁推动了Oinone的诞生。Oinone是一种全新的开发方式，在数字化时代，Oinone在提升研发效率上做出的创新性“低无一体”的设计对传统软件代码开发或者无代码开发一定会有巨大冲击，这种冲击会对软件市场格局造成什么样的变化，我拭目以待。 最后，愿我们这些追光人，在时代的洪流中，都能留下一抹印迹，不辜负时代，不辜负自己。 现任阿里巴巴副总裁，飞猪总裁，曾任阿里大文娱CTO兼优酷COO、淘宝CTO 庄卓然（南天）

  史, 昂

  Oinone 7天入门到精通 2024年5月23日

  1.3K000
• Oinone 7天入门到精通

  图表

  1. 业务场景 进入数据可视化后，默认处于图表列表页面，点击报表/数据大屏图标则可切换至对应列表；支持从模型获取数据后，过滤数据后创建可视化图表，维护的图表信息可以被报表、数据大屏、以及业务系统引用。 2. 操作流程 1）进入数据可视化，进入图表tab，维护分组信息； 2）在二级分组名称后点击“+”【添加图表】，对图表进行编辑设计； 3）创建完成后可以【编辑】图表； 4）图表完善后，可以点击【发布】图表，则图表此时可以被引用； 5）如果图表有更新，则可以点击【更新发布】，使业务系统引用对图表变为最新的图表信息； 6）如果图表数据不再可以公开使用，则需要通过【隐藏】功能将图表的引用权限收起，此时报表、数据大屏、前端业务系统均不可再引用该图表，但不影响已被引用的图表； 7）隐藏后可以【取消隐藏】，图表恢复隐藏前的状态和功能，可以被引用。 3. 操作流程图解 3.1 创建分组 1）操作流程：创建分组 2）操作路径：数据可视化-图表-创建分组 3）点击搜索框后的「+」创建一级分组，输入一级分组名称后，点击一级分组后的「+」创建二级分组，输入二级分组名称后，此时分组创建完成，可以在二级分组下创建图表 3.2 编辑分组名称 1）操作流程：选择分组-编辑分组名称 2）操作路径：数据可视化-图表-编辑分组名称 3）鼠标移动至需要修改的分组上，点击出现的「编辑图标」，可以修改分组名称，修改后分组名称实时更新 3.3 删除分组 1）操作流程：选择分组-删除分组 2）操作路径：数据可视化-图表-删除分组 3）鼠标移动至需要删除的分组上，当分组下无图表时出现「删除图标」，可以点击图标后删除分组，删除一级分组时对应所有的二级分组也会被删除，删除后消失，只有分组下没有图表的分组才能直接删除成功 3.4 创建图表 1）操作流程：选择二级分组-创建图表 2）操作路径：数据可视化-图表-二级分组-创建图表 3）鼠标移动至需要创建图表的二级分组上，出现「+」，点击图标后弹出“创建图表”弹窗，需要填写图表标题、模型、方法； a图表标题：最大支持20个字，支持汉字、数字、大小写字母、-；同个一级分组下不允许重复； b模型：需要选择来源数据对应的模型； c方法：选择模型后需要选择方法，方法是用来提取模型数据的逻辑； 4）选择成功后进入图表设计页面 3.5 编辑图表 1）操作流程：选择图表-编辑图表 2）操作路径：数据可视化-图表-二级分组-图表-编辑图表 3）只能编辑未发布或者已发布但没有被隐藏的图表，且存在三种编辑情况 a第一种：点击图表标题后的编辑图标，仅能编辑图表标题； b第二种：点击图表中的图表标题、图表副标题、图表描述后的编辑图标，可以直接编辑图表标题、图表副标题、图表描述； c第三种：点击【编辑】按钮，进入图表设计页面，带出已有的数据字段、样式、图表内容，编辑时的规则与创建时一致，编辑后可以点击保存进行更新，如果未保存直接返回，则编辑无效； 4）编辑后实时生效，图表信息保持展示最新效果 3.6 删除图表 1）操作流程：选择图表-删除图表 2）操作路径：数据可视化-图表-二级分组-图表-删除图表 3）未发布或者已发布但没有被隐藏的图表，并且没被前端或者报表引用，才展示图表菜单名称后的删除图标 4）删除后图表消失 3.7 复制 1）操作流程：选择图表-复制图表 2）操作路径：数据可视化-图表-二级分组-图表-复制图表 3）点击【复制】按钮，复制成功，名称为copy of 原图表标题，展示在原图表分组的最后一个 3.8 发布 1）操作流程：选择图表-发布图表 2）操作路径：数据可视化-图表-二级分组-图表-发布 3）选择单个未发布且没有被隐藏的图表，点击【发布】按钮，图表发布后可以被前端引用，图表状态变为已发布，展示最近发布时间； 4）如果图表发布后有更新内容，会展示的更新类型：更新图表信息/更新图表内容 3.9 查看最近一次发布的版本 1）操作流程：选择图表-查看最近一次发布的版本 2）操作路径：数据可视化-图表-二级分组-图表-查看最近一次发布的版本 3）当图表发布后有更新，在最近发布时间左侧展示【查看】，在最近发布时间下展示更新的类型，点击查看可以查看最近发布的版本 3.10 更新发布 1）操作流程：选择图表-更新发布图表 2）操作路径：数据可视化-图表-二级分组-图表-更新发布图表 3）选择单个已发布且没有被隐藏的图表，并且该图表在上次发布后有所更新，可以点击【更新发布】按钮，将最新的图表内容发布至业务系统，业务系统引用的图表为最新内容； 4）如果更新了内容，但未点击更新发布，则前端业务系统查看的图表仍为最近发布的图表 3.11 隐藏 1）操作流程：选择图表-隐藏图表 2）操作路径：数据可视化-图表-二级分组-图表-隐藏图表 3）图表默认不隐藏，点击图表左侧的是否隐藏可以切换，切换是否隐藏=是 a未发布的图表，较隐藏前，不可以操作【发布】，可以【取消隐藏】； b已发布的图表，较隐藏前，只能操作【导出图片、导出excel、取消隐藏】； 4）隐藏后的图表不可以被引用，但不影响已经被引用的数据 3.12 取消隐藏 1）操作流程：选择图表-取消隐藏图表 2）操作路径：数据可视化-图表-二级分组-图表-取消隐藏图表 3）隐藏后的图表可以取消隐藏，切换是否隐藏=否，取消隐藏后，图表恢复隐藏前的状态和功能，可以被引用 3.13 查看引用 1）流程：选择图表-查看被哪些报表/数据大屏/页面引用 2）操作路径：数据可视化-图表-二级分组-图表-更多-查看引用 3）选择具体的图表，查看当前图表被引用的所有信息 3.14 不允许别人编辑 1）流程：选择图表-不允许别人编辑 2）操作路径：数据可视化-图表-二级分组-图表-更多-不允许别人编辑 3）选择自己创建的图表，对图表是否允许其他人编辑进行设置；如果设置为不允许，则其他人无法编辑图表 3.15 不允许别人引用 1）流程：选择图表-更多-不允许别人引用 2）操作路径：数据可视化-图表-二级分组-图表-更多-不允许别人引用 3）选择自己创建的图表，对图表是否允许他人引用进行设置；如果设置为不允许，则其他人无法在报表、数据大屏、界面设计器引用到该图表 3.16 导出图片 1）操作流程：选择图表-导出图片 2）操作路径：数据可视化-图表-二级分组-图表-图表导出图片 3）选择图表后，点击【导出图片】按钮可以将当前图表导出为图片 3.17 导出EXCEL 1）操作流程：选择图表-导出EXCEL 2）操作路径：数据可视化-图表-二级分组-图表-图表导出EXCEL 3）选择图表后，点击【导出EXCEL】按钮可以将当前图表导出为EXCEL 4. 图表设计页面 4.1 修改模型、方法 1）操作流程：创建图表-进入图表设计页面 2）操作路径：数据可视化-图表-二级分组-图表-创建图表 3）在“创建图表”弹窗中选择了模型和方法后，可以在进入图表设计页面修改 4）图表设计页面，点击模型后的设置图标后，右侧弹出弹窗，可以修改模型和获取模型数据的方法，需要注意的是：修改模型后，图表信息会清空 4.2 维度 1）操作流程：创建图表-进入图表设计页面 2）操作路径：数据可视化-图表-二级分组-图表-创建图表 3）维度字段：布尔、文本、枚举、日期时间、年份、日期、时间、用户ID、手机号、邮箱 4.2.1 维度的添加 1）图表设计页面，点击维度后的「+」，右侧弹出弹窗，展示所有的维度字段，可以选择对应的字段进行分析 a拖动字段进入维度列表 b点击字段，则字段进入维度列表 2）不同的图表支持的维度个数不同，当维度字段个数已达上限后不可再添加；此时拖动新字段到旧字段上后，新字段会代替旧字段进行数据分析，且会保留相同的样式 4.2.2 维度的删除 1）维度选择后，鼠标放到维度字段上，显示「删除图标」 2）点击则字段删除成功，维度字段的效果消失 4.2.3 修改维度展示名称 1）维度选择后，鼠标放到维度字段上，显示「设置图标」 2）点击后下方弹出「修改展示名称」的设置选项，点击后右侧出现修改展示名称的弹窗，可以进行修改，在输入框下方可以查看原字段名称 4.3 数值 1）操作流程：创建图表-进入图表设计页面 2）操作路径：数据可视化-图表-二级分组-图表-创建图表 3）数值字段：整数、浮点数、金额、（连续的日期时间、年份、日期、时间） 4.3.1 数值的添加 1）图表设计页面，点击数值后的「+」，右侧弹出弹窗，展示所有的数值字段，可以选择对应的字段进行分析 a拖动字段进入数值列表 b点击字段，则字段进入数值列表 2）不同的图表支持的数值个数不同，当数值字段个数已达上限后不可再添加；此时拖动新字段到旧字段上后，新字段会代替旧字段进行数据分析，且会保留相同的样式 3）拖入的数值字段中，可以同时拖入整数、浮点数、金额；但是拖入字段类型=年份/日期时间/日期/时间后，不可以拖入其他字段类型的数值字段 4）饼图、漏斗图不可以在数值列表中拖入字段类型=年份/日期时间/日期/时间的字段 4.3.2 数值的删除 1）数值选择后，鼠标放到数值字段上，显示「删除图标」 2）点击则字段删除成功，数值字段的效果消失 4.3.3 修改数值展示名称 1）维度选择后，鼠标放到数值字段上，显示「设置图标」 2）点击后下方弹出可以设置的选项，点击「修改展示名称」选项，点击后右侧出现修改展示名称的弹窗，可以进行修改，在输入框下方可以查看原字段名称 4.3.4 修改数值聚合方式 1）维度选择后，鼠标放到数值字段上，显示「设置图标」 2）点击后下方弹出可以设置的选项，点击「聚合方式」选项，点击后右侧出现修改展示名称的弹窗，可以进行修改 3）默认是求和，可以修改为「无处理、最小值、最大值、平均值、计数」 a求和：将维度值对应的所有数值进行加和 b无处理：取维度值对应数值中的最近一条不为空的值 c最小值：取维度值对应数值中的最小值 d最大值：取维度值对应数值中的最大值 e平均值：取维度值对应数值的平均值 f计数：计算维度值对应的数值个数 4）修改后实时更新图表信息，会影响辅助线取数值字段时的值 4.3.5 修改数值数据格式 1）维度选择后，鼠标放到数值字段上，显示「设置图标」 2）点击后下方弹出可以设置的选项，点击「数据格式」选项，点击后右侧出现修改数据格式的弹窗，可以进行修改 3）可以设置字段的数据类型、单位；…

  史, 昂

  2024年6月20日

  1.1K000

• 4.1.4 模块之元数据详解

  介绍Module相关元数据，以及对应代码注解方式。大家还是可以通读下，以备不时之需 如您还不了解Module的定义，可以先看下2.3【oinone独特之源，元数据与设计原则】一文对Module的描述，本节主要带大家了解Module元数据构成，能让小伙伴非常清楚oinone从哪些维度来描述Module， 一、元数据说明 ModuleDefinition 元素数据构成 含义 对应注解 备注 displayName 显示名称 @Module( displayName=””, name=””, version=””, category=””, summary=””, dependencies={“”,””}, exclusions={“”,””}, priority=1L ) name 技术名称 latestVersion 安装版本 category 分类编码 summary 描述摘要 moduleDependencies 依赖模块编码列表 moduleExclusions 互斥模块编码列表 priority 排序 module 模块编码 @Module.module(“”) dsKey 逻辑数据源名 @Module.Ds(“”) excludeHooks 排除拦截器列表 @Module.Hook(excludes={“”,””}) website 站点 @Module.Advanced( website=”http://www.oinone.top”, author=”oinone”, description=”oinone”, application=false, demo=false, web=false, toBuy=false, selfBuilt=true, license=SoftwareLicenseEnum.PEEL1, maintainer=”oinone”, contributors=”oinone”, url=”http://git.com” ) author module的作者 description 描述 application 是否应用 demo 是否演示应用 web 是否web应用 toBuy 是否需要跳转到website去购买 selfBuilt 自建应用 license 许可证 默认PEEL1 可选范围： GPL2 GPL2ORLATER GPL3 GPL3ORLATER AGPL3 LGPL3 ORTHEROSI PEEL1 PPL1 ORTHERPROPRIETARY maintainer 维护者 contributors 贡献者列表 url 代码库的地址 boot 是否自动安装的引导启动项 @Boot 加上该注解代表： 启动时会自动安装，不管yml文件的modules是否配置 moduleClazz 模块定义所在类 只有用代码编写的模块才有 packagePrefix 包路径，用于扫描该模块下的其他元数据 dependentPackagePrefix 依赖模块列对应的扫描路径 state 状态 系统自动计算，无需配置 metaSource 元数据来源 publishCount 发布总次数 platformVersion 最新平台版本 本地与中心平台的版本对应。做远程更新时会用到 publishedVersion 最新发布版本 表4-1-4-1 ModuleDefinition UeModule 是对ModuleDefinition的继承，并扩展了跟前端交互相关的元数据 元素数据构成 含义 对应注解 备注 homePage Model 跳转模型编码 @UxHomepage(@UxRoute() 对应一个ViewAction，如果UxRoute只配置了模型，则默认到该模型的列表页 homePage Name 视图动作或者链接动作名称 logo 图标 @UxAppLogo(logo=””) 表4-1-4-2 UeModule 二、元数据，代码注解方式 Module Module ├── displayName 显示名称 ├── name 技术名称 ├── version 安装版本 ├── category 分类编码 ├── summary 描述摘要 ├── dependencies 依赖模块编码列表 ├── exclusions 互斥模块编码列表 ├── priority 排序 ├── module 模块编码 │ └── value ├── Ds 逻辑数据源名 │ └── value ├── Hook 排除拦截器列表…

  史, 昂

  Oinone 7天入门到精通 2024年5月23日

  1.1K000

• 李强

  我们常说“在今天所有的不确定性当中，数字化是最大的确定性”，数字化一定会全面改造所有的行业更是确定的。在菜鸟九年的探索中，我们最大的感受是“未来，任何一个物流企业都会是一个技术公司，真正拉开差距的是：技术与实体产业的结合有多深”。菜鸟“简单极致，贴地疾飞”的技术文化也深刻体现了这一点——好的技术要能解决实际问题。数字化并不是简单地上线一个或几个系统，这是一个贴近业务持续迭代的过程，伴随着这个过程，我相信会诞生非常多的创新技术。 在本书中我看到了工程思维在推进技术创新的缩影，把难的问题转化为简单的问题，用成熟实用的技术分而解之。高性能的微服务框架、CDM、元数据、低代码、无代码等，都是当下非常热门的技术课题，Oinone把这一切都有机地结合起来，形成了一种具备先进理念的全新一代软件产品，每一个特性都贴合企业数字化遇到的实际问题。Oinone的产品设计，把“大道至简，软件自造”贯穿始终，用最简单的方式，帮助企业驾驭数字化，相信会给企业带来不一样的体验。 就跟本书提到的“「企业视角由内部管理转向业务在线、生态在线(协同)带来一系列新的诉求」这一大背景下，以及云、端等新技术的发展，对研发人员的需求越来越大，同时要求越来越高，低代码平台是提升研发效率，降低研发成本的核心手段”，低代码已经不是需不需要的问题，而是怎么选的问题。菜鸟网络自身也在推进自有低代码开发平台，我们有幸邀请本书作者陈鹏程来到菜鸟网络进行了分享交流，收获非常大。如您正在选型低代码开发平台，向您推荐这本书，低无一体的Oinone肯定会打动您。 菜鸟网络CTO李强（在宽）

  史, 昂

  Oinone 7天入门到精通 2024年5月23日

  1.3K000